t_wの輪郭

1070Tiとか言う化石みたいなGPUでも動くLLMがまともな回答するようになってて怖い

ウっ、torch.cuda.OutOfMemoryErrorで死んだ。

torch_dtype=torch.bfloat16つけたらギリ行けた。

1万字つっこもうとしたらtorch.cuda.OutOfMemoryErrorでまた死んだ。

1070Tiはいい加減にしんどい。RTX3070ほしい。

Google Colabの有償契約したった！
NVIDIA A100速い！
学習時間が1070 Tiの1/20になった！

やったー
幣WindowsでGPUでALBERTのSimCSEの学習ができるようになったぞ
1回の学習にかかる時間が40時間から2時間に短縮された
それでもGoogle Colabと比べると２倍時間かかるので、良いぱしょこんが欲しい
1070 Tiはそろそろ買い替えていい頃合いと思う