V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  diudiuu  ›  全部回复第 7 页 / 共 39 页
回复总数  773
1 ... 3  4  5  6  7  8  9  10  11  12 ... 39  
GitHub 脚本给说下
6 月 12 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@Livid #29 没有用啥高级的工具,我是用 llama.cpp 方式部署的
直接可以用它带的网页聊天就可以看见 token/s

还有一个比较准确的方式,开始测试聊天,把从开始聊天到结束聊天的日志导出来,直接让 ai 分析,里面就有思考每秒生成 token 数,真实吐出的 token 数

你要 vllm 方式,就不是很清楚
6 月 12 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
gemma4:26b 处理文本总结一把好手,写代码还有数据计算类的推理,简直一言难尽.
我用本地模型帮别人考试,一般语言问答题,本地都能考高分
考到那种数学计算等,就没过过

站长你这个 dgx 跑这个模型,输出的 token/s 是多少
6 月 12 日
回复了 mingtdlb 创建的主题 Local LLM GPU 跑 LLM 也会超频吗?
上来就给人整个 H200 ,人都没办法评判
--ctx-checkpoints 64
--checkpoint-interval 8192
尝试减轻下问题
6 月 11 日
回复了 EmberSpirit 创建的主题 职场话题 吐槽一下某种现状, 关于招聘卡年龄
为什么天天有个别人热帖子,就会有个来分析的。
这个也挺招人烦的
你这让我想到了疫情遇到的一键事

离我家很远的一个地方,某防疫办天天给我发短信说我有活动嫌疑,还给我打电话说最近不要跑
我找市长热线确认过,电话是真的。最后我俩都保持默契了,你打你发,我就当没看见
6 月 10 日
回复了 carverReal 创建的主题 程序员 上班被 @突然觉得一阵恶心
那些 @的基本不是给干活人看的
6 月 10 日
回复了 gp0119 创建的主题 Apple iOS 27 史诗级更新!
@EIJAM #83 66666
6 月 9 日
回复了 guoguobaba 创建的主题 问与答 教育孩子失败
你管这叫 18 岁?
6 月 9 日
回复了 gp0119 创建的主题 Apple iOS 27 史诗级更新!
@EIJAM #61
你这就是犟嘴了,日本顶多也能查到两年的放假日子,我巴不得日本人最好立马马上死,天皇天天死也是好事
6 月 9 日
回复了 gp0119 创建的主题 Apple iOS 27 史诗级更新!
@EIJAM 日本那边跟咱一样,都是提前公布,说也不知道天皇啥时候驾崩,下一届天皇是谁,顶多查到两年后的放假时间
6 月 9 日
回复了 bug403 创建的主题 ☕Vibe Coding🤖 现在 ai 真的有那么强吗?
同事说用 ai 可以提高效率 100%
同事说 minimax 得非常好用

领导说我们已经用 ai 完成了两个大项目
领导说我们提供 ai token
感谢你让我也屏蔽了这个节点
能在这个节点发帖子的,多半有点不正常
不管是哪一方,觉得都有点吃的太饱
可以用也可以不用,有人就是喜欢 bb,也有喜欢反 bb
@zb1141920796 错了,你少算了了一部分人,还有 80%的在给老板吹牛逼,ai 可以随便干活自己埋自己
6 月 8 日
回复了 FLM210 创建的主题 GitHub GitHub 挂了么?
没有挂,好着呢
其实这种东西,自己撸自己用
你发出来会有一堆人说你这个不行。

我也写了一个,深度绑定业务。用户只要解析我的服务器 ip ,就可以去申请证书。
不懂就问,有啥业务就要一直看这个通知的
找个有联通信号好的地方
1 ... 3  4  5  6  7  8  9  10  11  12 ... 39  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2921 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 10:56 · PVG 18:56 · LAX 03:56 · JFK 06:56
♥ Do have faith in what you're doing.