V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  clemente  ›  全部回复第 15 页 / 共 60 页
回复总数  1182
1 ... 11  12  13  14  15  16  17  18  19  20 ... 60  
❮ ❯
上架流程快嘛
6 月 3 日
回复了 followadc 创建的主题 › Local LLM › mac 64g 能部署哪个本地大模型
一般 小设备都跑 nvfp4 或者 fp8

mac fp8 的话 你大概跑 36 - 40+ 左右的差不多了 但可能你做其他功能就卡了
6 月 3 日
回复了 followadc 创建的主题 › Local LLM › mac 64g 能部署哪个本地大模型
我正好写过类似工具

如果是稠密模型
运行时显存需求 = 模型参数 x dtype(是什么量化版本) + 冗余量 留给 kv cache

如果是 moe 的模型
实际运行时显存需求 少于上面


用 13b 模型为例
格式 每参数字节 13B 权重
FP16/BF16 2B ~26 GB
FP8 (E4M3) 1B ~13 GB
NVFP4 0.5B ~7 GB


kv cache 按照 1/4 冗余计算

26 * 5/4
13 * 5/4
7 * 5/4
@conky 美国身份证?
@TerranC 最新的 claude code 内置了 superpower skill
我觉得你这个用车 不如去买个二手的油车
从 优化这门学科的角度 你应该分析一下地球 top5 的浪费活动 然后优化他们 比 你现在考虑的重要的多
钝刀秀刀功

不如做全套 hook + ai
改了也没用 驱动和 Kernel 不支持
5 月 20 日
回复了 Rrrrrr 创建的主题 › NVIDIA › 去年 H200 能买,不让买是代替快出来了?
h200 算力很强大 还有 fp8 支持
5 月 20 日
回复了 dreamererer 创建的主题 › 程序员 › 大家都是怎么判断中转站安全性呢?
用 10 个冷门知识验证
@Ketteiron 你拿 自由市场的例子 来做推理 退不出的答案
@Ketteiron 你知道最近化债是做什么的吗? 一个系统要维护稳定 最先的动作是 投钱加固 而不是拆墙根
5 月 19 日
回复了 jony83 创建的主题 › 随想 › 对于目前的关于 ai 的看法和感受
典型的拿 明朝的剑 来斩 清朝的官
5 月 19 日
回复了 jony83 创建的主题 › 随想 › 对于目前的关于 ai 的看法和感受
现在世界模型还没有开始 范式也没有固定
你理解的 ai 和现在在发展的 ai 不是一回事
5 月 19 日
回复了 jony83 创建的主题 › 随想 › 对于目前的关于 ai 的看法和感受
`ai 本质是文本 tokenizer 化`
你说的是 llm ai

我估计你都不懂什么叫多模态吧
5 月 14 日
回复了 lpf0309 创建的主题 › 职场话题 › 写代码一定要防御性编程
没有意义 对你个人也没有好处 人活这一辈子没必要
5 月 13 日
回复了 lerry 创建的主题 › 育儿 › 我去女儿学校做了一堂 AI 分享课
每年要带自己孩子 赢一次, 你的孩子未来会赢
5 月 13 日
回复了 summerhot 创建的主题 › 职场话题 › 体制内去医院看神经内科
跑步流汗 补镁补 d3 完事了 整那么麻烦
@CivAx 只有糖尿病才可以刷医保
1 ... 11  12  13  14  15  16  17  18  19  20 ... 60  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5077 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 78ms · UTC 06:02 · PVG 14:02 · LAX 23:02 · JFK 02:02
♥ Do have faith in what you're doing.