V2EX › xiaomushen 的所有回复 › 第 14 页 / 共 29 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 10 11 12 13 14 15 16 17 18 19 ... 29

❮

❯

6 月 9 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@zhanying 那玩意儿就是个大号 NPU ，根本不适合跑动态图的 LLM 。950 倒是改成 SIMT 了（ GPGPU ），还号称兼容 CUDA ，不知道效果咋样。

我觉得 910 就是 HW 抄袭寒武纪 NPU 后，最终的进化形态。结果发现 NPU 这条楼基本是死胡同，一咬牙改换门庭，走 SIMT 路线

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@runzekk 又不是搞 LLM 底层的清北本硕，普通码农打工仔，润出去也没人要啊，只能和老墨一起修草坪

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@VeteranCat 国安，涉密，信创。这样的大前提下，就别想 N 卡了。捏着鼻子搞国产卡叭...

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@runzekk 也不能这么说呀。总归吐槽吐槽咯，虽然从国家安全的角度上说，能理解信创。但此刻国产计算卡实在是太难用了。而且尤其是 NPU 线路的，当下的昇腾卡，搞基于动态图的 LLM ，哪怕是做推理，也是接近扯淡的存在：累死 AI Infra 打工仔

PS：也理解西大不允许用 Huawei 的通信设备---国安角度

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@xiaxichen 没用，涉密单位不能连外网，物理隔离的。所以才需要本地信创算力。
真的是一言难尽啊，再说了，正规渠道层面，老美也严禁出售计算卡给那些单位，抓到后，全球追捕全链路经销商，也是神经病。。。

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@xiaxichen 涉密单位不允许连外网呗

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@xiaxichen GLM5 ，MoE 744B ，激活 40B ，Q8 部署，单卡显存倒是能满足了。这速度嘛。。。很符合昇腾的实际表现

6 月 8 日

回复了 Flagship9945 创建的主题 › Local LLM › 需要购买国产显卡本地部署大模型，哪家的比较好

@elehayym1618 昇腾的理论算力只能用在静态图上，比如 TensorFlow,Yolo 上。对付 LLM 这些动态玩意儿，真的无解