あれ
2025/4/20 12:22:00
環境
| 項目 | 値 |
|---|---|
| OS | Windows 11 |
| CPU | AMD Ryzen 7 7800X3D 8-Core Processor |
| RAM | 64 GB |
| 実行環境 | LM Studio |
| GPU | CUDA Cores | VRAM[GB] | 発売年 |
|---|---|---|---|
| GTX 1070 Ti | 2432 | 8 | 2017 |
| RTX 5060 Ti 16GB | 4608 | 16 | 2025 |
結果
| モデル | モデルのファイルサイズ[GB] | GTX 1070 Ti TPS[tok/sec] | RTX 5060 Ti 16GB TPS[tok/sec] |
|---|---|---|---|
| qwen2.5-coder-0.5b-instruct | 0.37 | 135.28 | 225.03 |
| qwen2.5-coder-3b-instruct | 1.93 | 65.27 | 115.26 |
| qwen2.5-coder-7b-instruct | 4.68 | 36.50 | 64.96 |
| qwen2.5-coder-14b-instruct | 8.99 | 8.89 | 36.94 |
| qwen2.5-coder-32b-instruct | 19.85 | 2.80 | 5.14 |
| qwq-32b | 19.85 | 2.75 | 4.21 |