V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  clemente  ›  全部回复第 1 页 / 共 59 页
回复总数  1168
1  2  3  4  5  6  7  8  9  10 ... 59  
❮ ❯
3 天前
回复了 qwzhang01 创建的主题 › 程序员 › 做模型训练、蒸馏门槛高吗
1. 模型训练包含前向算子、反向算子以及分布式通信开销,算子数量是推理的 3 倍以上,对应的技术栈与资源需求也高于推理部署。
2. 工程落地里很多蒸馏方案,本质就是遍历 高质量的领先模型的问题回答数据,对基模做后训练。
3. 同规模模型训练所需 GPU 资源远超推理。通常要 8 卡 x16 集群来训练
4. 修正:实际差距可达十几倍。因为线上推理普遍使用量化模型,而训练需要维持 BF16 精度。
3 天前
回复了 qwzhang01 创建的主题 › 程序员 › 做模型训练、蒸馏门槛高吗
@clemente 错了 应该是十几倍
因为推理的模型都是量化的
训练需要回到 bf16
3 天前
回复了 qwzhang01 创建的主题 › 程序员 › 做模型训练、蒸馏门槛高吗
gpu 也是推理一个同规模模型需求的三倍以上
3 天前
回复了 qwzhang01 创建的主题 › 程序员 › 做模型训练、蒸馏门槛高吗
蒸馏其实就是扫 qa 数据然后做后训练
3 天前
回复了 qwzhang01 创建的主题 › 程序员 › 做模型训练、蒸馏门槛高吗
是推理部署技术栈和资源需求的 3 倍以上

因为反向算子+前向算子+分布式通信库 的算子数 是推理的三倍 这是数字上的对比
g 家的人才密度 不是搞这块的料
组织结构才是最关键的
恋母狂欢
4 天前
回复了 xueshi 创建的主题 › 随想 › AI 有沒有可能真的产生意识呢?
AI 没有好奇心
9 月 29 日
回复了 rabbit9 创建的主题 › 旅行 › 舟山旅游推荐
建议别去 十一去 舟山是个错误
9 月 29 日
回复了 ccctttwww 创建的主题 › 问与答 › AI 时代下,隐私还有意义吗
其实很简单的,准备好几套假个人信息,在不相关的问题上附带扔上去。即使有泄露,也无法被最快定位
9 月 29 日
回复了 kulove 创建的主题 › 生活 › 成为数字游民后旅居几个月的碎碎念
希望借着持续旅行找到活着的意义
9 月 29 日
回复了 thomas01 创建的主题 › 生活 › 兄弟们,我好像错过了一个好女孩
简言之:我很怀念和她一起在杭州打拼的日子,她很好,分手我很难受,但我不想兑现当初回北方定居的承诺,我们因此分开。
9 月 29 日
回复了 muchun 创建的主题 › 职场话题 › 国企也换着法子逼人走了
国企还是那种非技术型的业务比较靠谱
尽量走垄断的那种 比如国网
9 月 23 日
回复了 leon233333 创建的主题 › Apple › 小红书真恶心,已向 Apple Store 举报
小红书在普通浏览页面启用延迟系统手势,增加用户退出成本且不能关闭,请求苹果审核,要求小红书只在全屏沉浸场景使用该功能
9 月 23 日
回复了 alangc 创建的主题 › 深圳 › 昨晚发生在健身房的冲突事件,冷静后复盘
健身时撞见实习同事被健身房销售诱导花 4750 元签了暗藏坑点的健身合同,对方还用上花呗付款,我出面帮同事据理力争,报警求助,最后成功全额退款,事后复盘整件事,感慨套路很深,也担心自己因此被健身房报复,但并不后悔出手帮忙。
搞好 用户层面的 ci/cd 全场景覆盖 再重构
@torlee 这是公司的产品。你觉得老板会不知道嘛?
1  2  3  4  5  6  7  8  9  10 ... 59  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5884 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 359ms · UTC 08:50 · PVG 16:50 · LAX 01:50 · JFK 04:50
♥ Do have faith in what you're doing.