朋友送了一块 Jetson Nano 开发板,正好最近 DeepSeek 很火,可以用来跑蒸馏的 1.5B 模型
先对比一下价格, 闲鱼上 Nano 比 TX1 贵,TX1 有 Nano 两倍的 CUDA Core,价格与树莓派 5 差不多
刷好 JetPack 4.6.1 后编译 llama.cpp,我已将修改后的代码和编译好的 llama-server 上传至 GitHub:
使用 llama-bench 对树莓派 5 和 Jetson Nano 进行测试,模型使用 DeepSeek-R1-Distill-Qwen-1.5B,结果如下图:
可以看出 Jetson Nano 成绩与树莓派 5 相当,在有提示词时遥遥领先
因此可以得出 Jetson TX1 成绩超过树莓派 5 的结论
再考虑价格,应该是最便宜能跑 LLM 的设备了