V2EX › sentinelK 的所有回复 › 第 8 页 / 共 85 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 4 5 6 7 8 9 10 11 12 13 ... 85

❮

❯

4 月 30 日

回复了 babymonster 创建的主题 › Local LLM › 私有化部署大模型的“终点”是 Mac 还是 Nvidia？

对了，还忘了一点，到了生产力阶段，家庭用显卡就不现实了。

因为生产力显卡的噪音非常大。

4 月 30 日

回复了 babymonster 创建的主题 › Local LLM › 私有化部署大模型的“终点”是 Mac 还是 Nvidia？

@stimw 个人场景最大的优势是不会暴露隐私。而且有去掉拒绝模块的模型可用（可以忽略道德、法律、伦理等因素）。

4 月 30 日

回复了 babymonster 创建的主题 › Local LLM › 私有化部署大模型的“终点”是 Mac 还是 Nvidia？

在显存够用的前提下，显卡的解码能力远大于统一内存方案（不管是 GB10 、AMD MAX+395 ，还是 mac ）
反之，统一内存方案更容易达到更大的内存级别（能跑更大参数的模型）

所以，如果你要跑快，只能选显卡。
如果你要选能用，可扩展性，尝试更多模型，只能选统一内存。（为了大参数换显卡，基本上你整台 PC 也都要换）

4 月 30 日

回复了 murmur 创建的主题 › 程序员 › 不知道是 TraeCN 还是国模问题，总之，被 Copilot GPT AUTO 爆完了

Trae 的工程化就是有点问题。

可以用 claude code （可以切自定义的 API ，只要支持 anthropic 格式）或者 openCode 再试试。

vscode 还有 Cline 等其他的第三方工程化插件可以实践。

4 月 30 日

回复了 evan1 创建的主题 › 程序员 › 这两天在看 Agents 开发相关的教程，越看越感觉没意义。感觉只要了解个概念就够了，之后让 AI 去开发就行了。看到后面也看不太下去，只能一目十行的看。感觉怪怪的。

因为 LLM 的工程实践有个自证陷阱。

你没法证明你的 Agent 流程，或者说工程化产品相比裸模型/竞品是更优、更有效的。
所有人都在吹自己对于 LLM 落地的思路有多么高大上。但聊到实际产出又都阳痿了，因为他们没法对实际产出负责。

但是有一些思想还是有一定的启发作用。

比如任务拆分，利用的就是 LLM 对于复杂度 1*N 的任务执行效果比复杂度 N 的效果好的特性。
比如多 Agent 互相监督，利用的是 LLM 注意力机制有限的限制，通过多个 LLM 推理进程左右互搏来实现更好的效果。

剩下的一些纯 marketing 角度的概念，笑笑就好。

4 月 29 日

回复了 Hermitist 创建的主题 › Hermes Agent › 第五次重装 hermes, 有些经验希望给准备用的人参考一下.

@matafu 确实，一边作者强调 memery 只有 2200 字符长度。hermes agent 这边随便什么垃圾信息都 memery update ，直到装满。

4 月 29 日

回复了 Hermitist 创建的主题 › Hermes Agent › 第五次重装 hermes, 有些经验希望给准备用的人参考一下.

看了下这个“自我进化 skill”，这有点太损失稳定性了吧，他会让 hermes 去改自己的代码。

4 月 29 日

回复了 Hermitist 创建的主题 › Hermes Agent › 第五次重装 hermes, 有些经验希望给准备用的人参考一下.

@carrymaniac 如果只是对话任务，openCode 效果理论上讲是优于 hermes agent 的。

他俩是产品设计角度的不同。

openCode 能力聚焦在 Coding 上，hermes agent 是泛用性助手（系统自带 message gateway ，定时任务，有人格的概念等）。

举个不太恰当的例子，ClaudeCode 是一辆布加迪跑车，openCode 像是一个 F1 赛车，hermes agent 是家用 SUV 。

4 月 29 日

回复了 Livid 创建的主题 › Local LLM › 用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了

@unnyxi 如果是默认的思考长度的话，是的，但是 27B 目前还打不过 flash 的 max 思考长度

4 月 28 日

回复了 liyafe1997 创建的主题 › OpenAI › 有没有类似 ChatGPT 这种 Agent 能力的 API

@liyafe1997 想证明这一点很简单，你重新开一个 chatGPT 账户，看还能不能做到你的那个“它”的感觉，如果做不到，那就是上下文的差距导致的。

4 月 28 日

回复了 liyafe1997 创建的主题 › OpenAI › 有没有类似 ChatGPT 这种 Agent 能力的 API

@liyafe1997 所以你要的其实是你的历史上下文和 memery 导出。你越觉得 chatGPT 好用，你暴露给你本地 Agent 的上下文就越少。

我并不认为是 Agent 工具能力的差距，这是信息密度的区别。

4 月 28 日

回复了 liyafe1997 创建的主题 › OpenAI › 有没有类似 ChatGPT 这种 Agent 能力的 API

@liyafe1997 首先，“差了不是一点半点”这个评价是如何做出的？你用的其他 agent 工具确定和 chatGPT 是相同的基座模型吗？

如果模型相同，那你这个需求就很奇怪，你继续用 chatGPT 、乃至 codex cli 不就可以做到了么？为何非要 API 呢？

你使用 API 不是反而抛弃了 chatGPT 本身的图形化优势了么？

4 月 28 日

回复了 liyafe1997 创建的主题 › OpenAI › 有没有类似 ChatGPT 这种 Agent 能力的 API

@liyafe1997 这没有用 API 的必要。
工程化本身没有门槛，你能找到的其他实现的复杂度远高于 chatGPT 。包括但不限于 openclaw 、hermes agent 等。

另外，不太懂你指的“用 API 的形式用 ChatGPT”到底指的是 chatGPT 的什么能力，你最起码要先说模型 API 做不到什么吧？

4 月 28 日

回复了 liyafe1997 创建的主题 › OpenAI › 有没有类似 ChatGPT 这种 Agent 能力的 API

1 、agent 能力不是纯工程解决的，任务的拆解、工具的选择，都是基座模型决定的。
2 、每个模型基于其特点（上下文长度、算法特性、乃至消费价格），理论上讲最佳工程实践的结构都不同。

所以，你想像的这个场景并不存在。
举个不太恰当的例子，库克退休了，让他来你的公司当 CEO ，未见得比你们现在的老板强。

4 月 28 日

回复了 Livid 创建的主题 › Local LLM › 用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了

相较而言，个人体感还是 Qwen3.6 35B A3B 在 localLLM 上跑的更顺一点，benchmark 评分也是和 v4 flash 互有胜负

4 月 27 日

回复了 zsj1029 创建的主题 › Local LLM › qwen3.6 27b 本地编码测试

@stefwoo 这回的 27B 每次执行都是 27B 满参数，所以比 35B A3B 运行速度更慢，但是智商评分更高。

4 月 27 日

回复了 babymonster 创建的主题 › OpenClaw › 求推荐一个玩 hermes 或者 openclaw 的大模型

最划算的话是 MiniMax 加的 token plan ，目前特惠的 DeepSeek V4 算是性价比最高，但是不可持续。

然后 localLLM 可以尝试 Qwen3.6 35B A3B

4 月 27 日

回复了 zsj1029 创建的主题 › Local LLM › qwen3.6 27b 本地编码测试

@mgsv2047 试试用 llama.cpp 来运行试试，上下文开 128K ，带-- fit on 参数

4 月 27 日

回复了 zsj1029 创建的主题 › Local LLM › qwen3.6 27b 本地编码测试

主要是 localLLM 强大之后，Agent 玩法才真正的被盘活。
隐私/便利的鱼熊悖论也就被打破了。

4 月 27 日

回复了 zsj1029 创建的主题 › Local LLM › qwen3.6 27b 本地编码测试

qwen3.6 35B A3B 的跑分还是挺好看的，智力和满血 DeepseekV3.2 不相上下，但 Agent 能力比 DeepseekV3.2 强很多。和我在 hermes agent 上的体感一致。

从这个角度看，最近这一年，localLLM 的进步，比大模型大很多。
我用家里的 8GVRAM ，64GBRAM 的老爷机用 llama.cpp 跑了一下 Q4 量化，驱动 hermes agent 的普通业务没什么问题，就是有点慢。在--on fit 配置下，大概是 20 多 token 每秒。

等 M5 MAX 的 mac studio 上线，我也打算买一台。

1 ... 4 5 6 7 8 9 10 11 12 13 ... 85

❮

❯