V2EX › yjhatfdu2 的所有回复 › 第 1 页 / 共 9 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9

❮

❯

4 小时 45 分钟前

回复了 yjhatfdu2 创建的主题 › 分享发现 › Jev 基本上就是个纯噱头，本科生课后作业水平

@fredweili 你没好好看吗？ 27b 能力是高于 jev ，只输出第一个 token 的 logprobs 为什么会涉及 json 稳定输出？顺便 json 稳定输出早就不是什么难题了，你需要去看看约束解码

22 小时 37 分钟前

回复了 yjhatfdu2 创建的主题 › 分享发现 › Jev 基本上就是个纯噱头，本科生课后作业水平

@EchoDeveloper 取所有的选项的概率做个 softmax 或者简单的按比例算个权重就可以了

1 天前

回复了 yjhatfdu2 创建的主题 › 分享发现 › Jev 基本上就是个纯噱头，本科生课后作业水平

@wsseo 有很多懂的，但更多的不懂在尬吹，和之前吹龙虾的差不多同一批人

1 天前

回复了 yjhatfdu2 创建的主题 › 分享发现 › Jev 基本上就是个纯噱头，本科生课后作业水平

其实主要还是大部分人用 llm 只会输出一长串 json 不会使用原始 logprobs 而已

1 天前

回复了 yjhatfdu2 创建的主题 › 分享发现 › Jev 基本上就是个纯噱头，本科生课后作业水平

@heganj 实际测试不做这些直接用 LLM 已经可以达到足够理想的结果，你还可以很容易的微调小模型适合自己的场景

8 天前

回复了 andie 创建的主题 › 程序员 › 我就喜欢听人夸 PostgreSQL

@woodfizky 是 gauss 垃圾，华为的软件能用？你用正版 pg+那几个新的全文索引/向量索引试试

20 天前

回复了 gtanyin 创建的主题 › OpenAI › 可稳定的 ChatGPT 的梯子求助~

买的最便宜的梯子，挂了两个 pro 号，半年了一直稳定

21 天前

回复了 Need4more 创建的主题 › Local LLM › mac 本地部署 llm 不是最佳选择

当然我遇到一个有趣的点，我本地部署一些模型测试（因为客户有私有化需要），和云 API 对比，会发现云 API 有不会通知你的降智现象，表现为有些 agent 场景本地基本上稳定能完成，云端需要看时段，高峰时段可能就完不成

8 月 31 日

回复了 guin 创建的主题 › Apple › 是不是现在买大内存的 m4pro 或 max 性价比最高？

M5 才有 tensor core 支持 AI 算力，M4 没有哦

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@sentinelK 我现在用的是最新的 vllm ，改了一下 jinja ，基本上没有遇到这些问题，但是有个偶现的 GPU 报 Xid 31 导致奔溃的问题，可是 flashinfer 的 B12x 内核在长上下文、高并发、MTP 下的 bug ，就先凑合着用吧，codex 跑几个小时可能会遇到一次

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@wcwcxiaobin 你可以试试呢，muse 大部分的局部注意力，长上下文也有可能不集中

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@catazshadow 开 128K 和能力有什么关系？ Qwen3.8 估计关掉 thinking 都可以把 muse 吊起来打，所有的客观测试分数都相差两代的水平了，AA 比开了 reasoning 的 Qwen3.6 27B 都低三分，也就比 Qwen3.6 35B 好一点，真的是拉大了。

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@sentinelK 这个应该是因为 qwen3.8 只有几个有限的思考等级，和 codex 的那几个不匹配，需要改 jinja 模版做映射

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@yjhatfdu2 我是 PRO 6000 ，感觉现在 sm120 架构还是支持有限

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@catazshadow 规模更大，所有评测都落后一大截，AA 更是 35 比 52 ，这怎么叫打的有来有回呢？应该是全方位无死角吊打。Qwen 你也可以开 128k 上下文

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

sglang 在 codex 上遇到了不少微妙的问题，包括但不限于 codex 的扩展工具类型支持问题（比如 mcp 相关、工具检索等），开启 EAGLE 后 xgrammar 进行 tool call 受控采样时会偶然遇到 triton kernel 的问题导致奔溃，加入多模态会导致输出长度可能超过模型上下文限制导致报错，加入图片偶现 prefill cuda graph 问题，SMG 对于 codex 的很多扩展的 responses 协议字段强校验通不过报错。修了半天算了还是换 vllm 吧，不过 vllm 也遇到了非常偶现的 cuda 内存越界，真是服了

7 月 29 日

回复了 whetherTsmile 创建的主题 › macOS › mac mini m4 GPU 性能支撑不住 4K

@rm2788 粘滞可能是蓝牙鼠标延迟的问题，用有线或者 2.4G 的无线毫无问题

7 月 3 日

回复了 hoko1814 创建的主题 › 教育 › 家里亲戚今年高考，求推荐本科专业

城市>学校>专业

6 月 24 日

回复了 euronx 创建的主题 › 汽车 › 18cm 们，你们的车内有异响吗？

去年的新 Model Y ，一点都没有，其实我 7 年的进口老 Model 3 也基本没有

1 2 3 4 5 6 7 8 9

❮

❯