同框架 · 比设备
固定一种推理框架，比较不同设备（GPU）在同一模型上的 TPS。 当前只有 1 台设备的数据；导入更多设备 run 后会出现横向对比。
NVIDIA GB10 (aarch64)
框架 vLLM · 1 device · 5 models
仅注册了 NVIDIA GB10。要在此页对比多设备，请在其他机器上跑 bench、导入 run 并注册到
data/catalog.json 与 lib/load-data.ts。DeepEyes-7B
~7B
NVIDIA GB10 (aarch64)
13.1
DeepSeek-R1-0528-Qwen3-8B
~8B
NVIDIA GB10 (aarch64)
13.6
Qwen3-4B-Instruct-2507
~4B
NVIDIA GB10 (aarch64)
21.5
Qwen3-VL-2B-Instruct
~2B
NVIDIA GB10 (aarch64)
47.5
Qwen3.5-9B
~9B
NVIDIA GB10 (aarch64)
12.4
| Model | Category | 设备 | TPS | Tokens | Wall s |
|---|---|---|---|---|---|
| Qwen3-VL-2B-Instruct | Vision-Language | NVIDIA GB10 (aarch64) | 47.50 | 128 | 2.69 |
| Qwen3-4B-Instruct-2507 | Text LLM | NVIDIA GB10 (aarch64) | 21.54 | 128 | 5.94 |
| DeepSeek-R1-0528-Qwen3-8B | Text LLM | NVIDIA GB10 (aarch64) | 13.63 | 128 | 9.39 |
| DeepEyes-7B | Vision-Language | NVIDIA GB10 (aarch64) | 13.06 | 128 | 9.80 |
| Qwen3.5-9B | Text LLM | NVIDIA GB10 (aarch64) | 12.42 | 128 | 10.31 |