V2EX › ReinXD 的所有回复 › 第 2 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2

❮

❯

8 月 26 日

这个价格对比 n 卡服务器，甚至可以说性价比爆表，统一内存的架构优势在 LLM 时代凸显出来了

8 月 14 日

@NizumaEiji 基本大厂内部编程代码 agent 都是 glm ，用户会用脚投票的

8 月 14 日

@Retas 这里有个关键问题是如果模型 sft 的训练数据没有针对性优化，这样的操作是会下降模型性能的

8 月 14 日

dpsk 应该是把 system prompt 直接放到每次请求的开头了，这样每次增长的计算实际上只有用户新发的请求，剩下全部可以 prefix cache hit ，导致最后命中率 99%，其实没那么多魔法，不过 dpsk 应该这次在训练 sft 的阶段就对这种 prompt 方式进行优化了

1 2

❮

❯