GTX 1070 Ti
2025/4/20 9:30:00
あれ
2025/4/20 12:22:00
環境
| 項目 | 値 |
|---|---|
| OS | Windows 11 |
| CPU | AMD Ryzen 7 7800X3D 8-Core Processor |
| RAM | 64 GB |
| 実行環境 | LM Studio |
| GPU | CUDA Cores | VRAM[GB] | 発売年 |
|---|---|---|---|
| GTX 1070 Ti | 2432 | 8 | 2017 |
| RTX 5060 Ti 16GB | 4608 | 16 | 2025 |
結果
| モデル | モデルのファイルサイズ[GB] | GTX 1070 Ti TPS[tok/sec] | RTX 5060 Ti 16GB TPS[tok/sec] |
|---|---|---|---|
| qwen2.5-coder-0.5b-instruct | 0.37 | 135.28 | 225.03 |
| qwen2.5-coder-3b-instruct | 1.93 | 65.27 | 115.26 |
| qwen2.5-coder-7b-instruct | 4.68 | 36.50 | 64.96 |
| qwen2.5-coder-14b-instruct | 8.99 | 8.89 | 36.94 |
| qwen2.5-coder-32b-instruct | 19.85 | 2.80 | 5.14 |
| qwq-32b | 19.85 | 2.75 | 4.21 |
あれ
2024/4/14 13:25:00
ウっ、torch.cuda.OutOfMemoryErrorで死んだ。
torch_dtype=torch.bfloat16つけたらギリ行けた。
1万字つっこもうとしたらtorch.cuda.OutOfMemoryErrorでまた死んだ。
あれ
2023/8/13 13:14:00
Google Colabの有償契約したった！
NVIDIA A100速い！
学習時間が1070 Tiの1/20になった！
あれ
2023/8/11 17:00:00
やったー
幣WindowsでGPUでALBERTのSimCSEの学習ができるようになったぞ
1回の学習にかかる時間が40時間から2時間に短縮された
それでもGoogle Colabと比べると２倍時間かかるので、良いぱしょこんが欲しい
1070 Tiはそろそろ買い替えていい頃合いと思う