背景是，我们 AI 开发产品，但是到客户现场部署硬件都在人家的无法访问互联网的环境，因为是 AI 写的代码，人在现场排查比较困难，但是可以拿笔记本和那个设备直连。所以想，本地的模型只要能支持看笔记本的代码，以及去环境帮助定位分析问题即可。
现在本地比较强的模型，是哪个呢
 |
drealism6h 11m ago
1
背个那个啥 spark 进去
 |
 |
evan16h 8m ago
2
要根据自己电脑的配置去选能用的模型。
手机热点也不能用吗 |
 |
sentinelK6h 1m ago
5
所以你不能插优盘，你模型哪来呢？
|
 |
6
|
2 |
paopjian5h 37m ago
7
如果你们都到了现场部署才想起来要离线部署, 那先把开发和实施抽一顿吧, 其他事之后再说
顶级自部署模型就是 qwen 3.8 27b 和 deepseek flash v4.1 , 而这也需要大显存 GPU 和高内存, 你们得背着至少 10 万的笔记本去现场才满足速度. 要不然就人力去 debug 吧 |
 |
Haku5h 20m ago
8
rtx spark ，可以跑一个量化的 qwen3.8 flash next ，大概 20-40token/s,上下文 128K
|
 |
9
你这是连个配置都不会看。。。
我建议你加钱买能工智人。。。 |
 |
dnfQzjPBXtWmML5h 12m ago
10
硬件要求最低的就是 strata+qwen 了吧，大内存+N 卡就能凑合跑起来
|
 |
11
@sentinelK 得光盘弄进去
@dnfQzjPBXtWmML 那看来还是 qwen ，一年前也是部署到 qwen ，看来还是这个比较稳，到时候我们试试 @paopjian 对，我也没说清楚，部署不会有啥问题，都是自研的系统直接安装进去的；使用期间会有一些问题，之前都是是人来定位和排查。现在 AI 写代码，人排查费劲了。考虑 qwen 了，27b 估计跑不起来。 |
 |
qiuhang4h 45m ago
12
普通笔记本的话，试试 JetBrains/Mellum2.1-12B ？
|
 |
13
ai max 495 192g 试试
|
 |
YanSeven3h 46m ago
14
招聘一个有能力专门负责驻场事务的高级开发。
|
 |
davidoff5673h 7m ago
15
@vverr 他说的应该是 dgx spark,一般部署的话是 2 台起步，9w 左右能部署 MOE 架构模型
|
 |
16
不行啊 ，感觉要生产力还是得上 qwen 27B ，moe 的话 120B 左右的吧，笔记本没啥性价比啊
|
 |
ezioswj2h 17m ago
17
https://blog.csdn.net/wj305585378/article/details/161239686?spm=1001.2014.3001.5502
看下我的，只要 6-8g 显存就可以跑。我是 USB4 外接的，你们游戏本应该比我这个快多了。 |
Select Language