使用 Jetson Nano 低成本部署 LLM

朋友送了一块 Jetson Nano 开发板,正好最近 DeepSeek 很火,可以用来跑蒸馏的 1.5B 模型

先对比一下价格, 闲鱼上 Nano 比 TX1 贵,TX1 有 Nano 两倍的 CUDA Core,价格与树莓派 5 差不多

刷好 JetPack 4.6.1 后编译 llama.cpp,我已将修改后的代码和编译好的 llama-server 上传至 GitHub:

使用 llama-bench 对树莓派 5 和 Jetson Nano 进行测试,模型使用 DeepSeek-R1-Distill-Qwen-1.5B,结果如下图:

可以看出 Jetson Nano 成绩与树莓派 5 相当,在有提示词时遥遥领先

因此可以得出 Jetson TX1 成绩超过树莓派 5 的结论

再考虑价格,应该是最便宜能跑 LLM 的设备了

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇