V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  Soulxe2v  ›  全部回复第 1 页 / 共 2 页
回复总数  27
1  2  
3 天前
回复了 NorthGod 创建的主题 Local LLM 多机异构显卡组合推理
@NorthGod

1 、我先说我之前提出的问题。
1 )“单机可以复现分布式的 bug”,这本身就很荒谬。你可以说你刚开始写的时候不需要一定要在多机跑,但是你都要明确修一个属于是分布式的 bug 了还不需要多机跑,那真的有点说不过去。你修 bug 不需要尽量原环境下复现,然后打日志,再根据日志修的吗?
要么就是你跑的模型根本不需要多机,单机就能完美甚至多开几个来运行,那你分布式的目的是什么?只是为了热备就没有必要做成这样,大可以所有节点都跑同一个模型,节点看情况上下线,然后写一个请求的路由,哪个节点在线,就跑在哪个上面就得了。
要么就是根本就没跑模型,只是 AI 让你感觉自己跑了,那更离谱了,连实测都不算,根本就是在臆想。
还是说你修 bug 就是跟 AI 说出了什么问题,让 AI 猜多几遍?
2 )学生身份不是万能金牌,没人教你那就老老实实看一楼给你推荐的书,光靠 AI 和网页只会害了你,AI 是能编出来看起来合理但实际上不通的结果,网页也能找到许多错误的内容。就目前我对这个项目和这个帖子的理解,你完全就是跟 cc 说要做我要做一个什么什么项目,然后 AI 给你梳理出框架之后,你也不知道框架对不对,就让 AI 硬跑,出了问题就让 AI 硬修,最终得出了这一个全靠 AI 的项目,但是自己都不知道里面写了些什么。
3 )你的代码行数注水的简直离谱,文档里的原文“核心代码量 八万余行(控制面 Go + 推理引擎 Python 的生产代码;连测试与桌面客户端计逾 14 万行)”。我原本也对代码行数没什么概念,但是当我拉下来 llamacpp 、vllm 两个同类型流行项目用"git ls-files | xargs wc -l"统计了一下总行数后,我就知道你这代码量简直扯的离谱,llamacpp 项目总行数 191615 ,vllm 项目总行数 117300 ,你的意思是你一个人凭借 AI 用两个月时间就做出来了能对标两三千人社区做了三年的成果的项目吗。

2 、我提出对 #19 的质疑:
1 )首先你不是只有 4 张卡吗,为什么能得出 PP=8 的时候 RTT≈4ms ?又是 AI 帮你编的吧。其次多机 PP 慢的原因不只是因为 RTT ,模型在单张卡上的 prefill 过程是不用时间吗?下一张卡的 prefill 过程不用时间吗?更别说你还是混用不同算力的卡。PP 只有在最后一张卡 prefill 完了才会出首个 token ,请问你为什么会得出卡越多但是却几乎不增加首 token 延迟?你自己难道不清楚 PP 是什么东西吗?
2 )我不用 vllm ,但就我自己用 llamacpp 实测来看,qwen3 30bA3b 这个模型上下文只能到 32768 ,开不了 131072 ,除非用其他技术手段硬开,当然你也可以说你用的 30b 不是这个,只是我也不知道你还能用哪个 30b 了。
3 )“30B-int8 塞进单卡是能塞“,我就想问了,你知道 qwen3 30bA3b int8 的模型有多大吗,31.98G 的大小怎么塞进 5090 ?还跑上并发了?这个时候就不考虑 prefill 时间会爆炸了?当然你也可以说你用的 30b 不是这个,只是我也不知道你还能用哪个 30b 了。
4 ) DeepSeek V4 有两种,一个是 flash 一个是 pro ,flash 是 284bA13b ,pro 是 1.6tA49b ,就算 pro 部署不了,你也应该把目标放在尽可能部署出一个 flash 版上,否则做 PP 的意义何在呢。
5 )“( 2026 生产部署 ~80% 高频任务中小模型就够,成本差 10-30 倍)”。谁给你的数据?中小模型是有多小?是你文档里写的 Qwen3-8B 还是 Qwen3-0.6B ?你真用过这两个模型吗,一个虽然智商不足还算勉强能用,另一个根本就是幻觉严重不微调完全没法用,谁会在生产环境部署这些模型?如果没有私密性需求,用这种模型真不如直接调官方 api 或者中转站。

3 、我提出对 #20 的质疑:
”而且我们自己会写的引擎吐出的文字并没有任何奇怪的说话方式或者行为等等“。希望你自己再次看完这句话没有笑出声来,这还是中文吗? AI 生成就算了,你就不能多跑几次选个通顺点的吗?

4 、我提出对 #21 的质疑:
1 )文档里不是说”按算力分配工作量“吗,4060laptop 和 5090 之间各种标称性能都差了接近十倍,laptop 版还会受各厂商的温度墙、功耗墙限制,差距只会拉的更大,出现 1:10 的模型层分割比例很离谱吗?你不会连这两张卡的参数都不知道吧。
2 )什么叫作”受限于目前没钱的条件,无法得出准确的性能答复“? 5070 还回去了,那你不是还有 4060lp 、v100 、5090 吗,我就当你 v100 也不是你自己的,那你 4060lp 和 5090 两张卡也能跑啊。调优不用实际跑的话术都来了,你不实际跑你怎么知道瓶颈在哪,是卡与卡之间算力差太多还是卡与卡之间显存速度差太多,或者是其他的各方面的因素,你总得把实验做了才能得出结果吧。
3 )人家让你回答网络栈开销怎么解决、项目细节是什么、是不是真测了,又说是自证陷阱。那你自己也得有点可信度啊,AI 发贴、AI 回复,我都怀疑项目本身是不是也全是 AI 帮你建、AI 帮你写、AI 装模做样帮你测试、最后 AI 帮你提交。

这次给大家回复倒是学会删 markdown 格式了,但是莫名其妙的比喻加上没必要的解释括号,你如果还是只会用 ai 写回复,你的项目可信度只会继续大大降低。
4 天前
回复了 CNN 创建的主题 iPhone 照片文档等数据存在 iCloud 算备份吗?
不太能算。
iCloud 某种方面上能算备份,因为它确实在云端给你留了一份数据。
但也不太能算备份,原因是,iCloud 这种云服务目标是实时同步,一个设备不小心删掉了某个文件,那就全部设备都不会有这个文件了。

至于有人提到苹果突然倒闭这个因素,我只能说突然倒闭的概率可能比我硬盘明天变红盘的概率还低,当年 360 云盘发公告要跑路的时候也不是秒死,还是活了几个月。

真觉得还是有风险,无非就是再开几个网盘会员,然后逐渐把数据拉下来,加密打包好再传上去,总不能全都倒闭了吧。

硬盘没有及时性需求就不用加,硬盘也是会坏的,把数据全放一块盘上,盘要是坏了也有你好受的。
1 、不是……而是……句式,”不是“后面接事物,”而是“后面接对前面事物强行升华后的概念。
例如:这不是一份家常菜,而是一份能抚慰人心的灵丹妙药。
我个人认为这种句式听起来太装了,不舒服。

2 、部分动词或名词使用了(或许)不应该出现的双引号。
例如:操作系统会将数据”写入“到硬盘里。
不是说这句话的意思错了,我个人是认为没有必要特意为这两个字加上双引号。

3 、经常用破折号,甚至在没有必要使用破折号的地方使用破折号。这个是我自己用 AI 写了点文学垃圾才发现的。
例如:……他环顾四周,发现这里的一切都维持在一种诡异的静止状态中——沙发上的靠枕依然整齐地摆放着,茶几上的水杯里还残留着一圈干涸的水迹……
这个破折号可以很轻松地换成“:”或者“。”,但是 AI 偏偏就选择了比较少人使用的破折号。

4 、喜欢用“极其”、“极度”、“XX 性的 XX”等相关表达。
这个就没有例子了,因为有点太多了。
反正我不喜欢这种很多“极”的表达
5 天前
回复了 microka 创建的主题 Chrome Chrome 150 版本启用 Manifest V2 的方法
@microka
我带的是这个参数"--disable-features=ExtensionManifestV2Unsupported,ExtensionManifestV2Disabled",之前也是这么用。
应该没有问题才对,但是今天下午我突然发现有广告才发现我的 UBO 被禁用了,按道理我应该不会是我自己关掉了吧。
5 天前
回复了 microka 创建的主题 Chrome Chrome 150 版本启用 Manifest V2 的方法
不太行,打开了之后用上几天,还是会自己关回去,看来得考虑转 firefox 了。
你每次提问让它先给具体方案,如果发现给出所有方案都不满意,你再把你的想法说给它。

另外,你如果自己都不知道自己想要什么,那你怎么知道 llm 做出的修改不符合你的要求呢,你换人类工程师来做,也是无法理解你的需求的。
@godall
原来你还有接短信的需求吗,那你还是用手机会比较好,前提是你确定你手上的手机或者买到手的手机支持联通电信的 VoLTE ,否则大概率还是接不到短信(有些设备是不用 VoLTE 也能在 4G 网络下接到短信,基本就是厂商配置了一点但是没配置完,不建议你去赌这种机器能用)。
mifi 能在 4g 下接短信的也是有的,但是 30 多肯定捡不到,便宜的东西都是老古董,能捡到没阉割到频段的都算你好运气了,更不用说还要捡到可以在 4G 下接短信的。
并且既然你有收短信的需求,大概率也需要做短信内容转发,用手机做转发也能更方便点。
日常是多日常,有些软件不给用在模拟器,可能会被封号,自己得注意一下。

一般用 mumu 就够了,mumu 现在功能很全面,唯一缺点就是桌面不干净有广告,不过很介意广告方面可以用 mumu 国际版。

genymotion 性能不好,安卓版本相对落后、收费功能过多(相对于商业模拟器来说)、蓝叠广告多、应用宝太臃肿,还有 AS ,AS 的模拟器的硬件加速约等于没有,你真的能用下去吗。
一般来说 mifi 比手机便宜。。现在还能用的 4G 手机都 70-80 元左右呢,4Gmifi 会捡的话 30 左右就能捞一个了。
如果你是有现成的手机,但是没有现成的 mifi ,那就当我没说。

1 、手机热点断连是没设备连接,监控静止没流量应该不会断,如果真断了,那这个摄像头就有点奇葩了。办法也是有的,把自动关闭热点、超时自动关闭这种开关关掉就行了。
2 、这个没办法简单解决,通电自启需要解锁和 root ,具体怎么改教程一搜全都是,顺便再改个直供电,免除电池后面 boom 掉的情形。
9 天前
回复了 mingtdlb 创建的主题 Local LLM 跑本地大模型 电费要多少?
能产多少 token 取决于你用的什么卡、跑的什么参数的模型、模型架构是什么、跑的什么量化、有没有用其他优化。
按照现在个人本地部署普遍 qwen3.6 27b 或者 gemma4 31b 的情况下(两个都是能以单卡 5090 32G ,q4 量化部署的,参数量相对比较大的稠密模型),其实大概 60-80 左右的 tps 也出不了多少 token ,粗算一下一度电也就能出 40wtoken 左右。
自部署换用 MoE 模型倒是个提升吞吐量数字的好办法,可是消费级单卡能部署的 MoE 模型实际用起来都太笨了没什么用途,尤其有些 MoE 模型还默认强制开深度思考,那就更慢了。
14 天前
回复了 NorthGod 创建的主题 Local LLM 多机异构显卡组合推理
项目文档是 AI 写的,你知道你的文档问题有多好笑吗,我都怀疑你让 ai 跑出来结果之后,自己都没看过就上传了吧。
文档是到处都有不明所以的 markdown 引用块的,cpython 的 GIL 是不懂的,python 嵌到 go 语言的主程序里是会让项目更快的,修分布式的 bug 是可以在单机上模拟出多个进程来做多机替代的。

回复也是 AI 写的,连 markdown 格式都懒得删,装都不装一下。

我的建议是跟之前那个没事喜欢锤子找钉子憋了好多口气准备做 coding agent 的人坐一桌,vibe coding 弄多了给自己弄出幻觉了。
16 天前
回复了 Autonomous 创建的主题 宽带症候群 咨询深圳联通 OTT 电视怎么样
OTT 就是没有直播频道的 IPTV ,基本只能当普通电视盒子用,有看直播需求不建议 OTT
9000mah 的选择其实还蛮多的,要性能好一点的有荣耀的 power2 、红米的 turbo5max 、一加的 turbo6 ;接受性能梦回 865 时代的的可以买荣耀 x80 pro max ,这个有 11000mah ;或者你可以买那种砖头三防,那种有 13000mah 甚至 21000mah 的,但是一般来说不仅贵性能还差。
你说的要求是 9000mah 以上,只有荣耀的 power2 是过了 9000mah 的( 10080mah ),红米的 turbo5max 和一加的 turbo6 都是刚好 9000mah ,考虑到宣传用的都是典型值,但是电池是有额定值(最小值)这种东西,刚刚好 9000mah 应该是不满足要求。
按照官网的数据,荣耀 power2 典型值 10080mah 额定值 9886mah ,一加 turbo6 典型值 9000mah 额定值 8760mah ,红米的 turbo5max 典型值 9000mah 额定值 8800mah ,荣耀 x80 pro max 典型值 11000mah 额定值 10690mah 。
你要绝对性能那肯定红米没跑了,次一等可以选一加,最后可以选荣耀那两款。
1 、手机热点没问题说明不是电脑问题,不是服务器问题、更不是游戏本身问题,直接锁定光猫(概率较高)、光纤线路(概率较低)任意一个有问题。
2 、光猫无线有问题应该考虑测试有线连接下是否也有问题,如果测了没问题或者电脑没有直接接有线的环境,那就让房东叫移动来处理,移动查不出问题自己再接路由器。
3 、另外两个游戏没有玩过,但是 MC 描述的情况我理解的就是,只要想办法让客户端和服务器交互变少,就不会断上传。MC 切换全屏/窗口化/最大化时,可能也同时改变了渲染分辨率,改变过分辨率 MC 是会从服务器拉数据的,一拉就给网拉死了;限制帧率、关光影、进入原版服务器等也会让客户端与服务器交互变少。
4 、总结:就目前描述的情况,你这个应该就是传说中的人人都骂过的断流,光猫可能是太老了,或者一直捂在弱电箱里没被重启过,不然按照现在的光猫水平,应该不至于这么差劲。
第一,你这个场景的换脸注定了很割裂。像舞蹈这种场景,大幅度运动+脸部可用分辨率小+随时可能被手挡住,换起来就经常会脱离跟踪,说白了就是效果不会好。

第二,成本和合法性。换脸直播安全点的方式是,你需要找人用比较合法的方式来定制模型、采购设备等,钱肯定是得加了,可能还得加不少。如果你同事脑子想的是随便用别人分享着玩的模型来播的话,那建议你还是别继续掺和了,这种模型私下本地玩玩还好,公开直播了被封号都算是轻的,被正主搞点什么肖像权纠纷出来就好玩了。

综上所述,真的是瘾大了想跳,最好的办法是带个口罩或者头套。
5 月 13 日
回复了 gaojiren 创建的主题 宽带症候群 手机广电卡被限速了怎么办?
直接销户跑路,你等他反馈是没有用的,每一次问就是反馈了反馈了,每一次用都是 3mbps 。
只要你肯忍,你就会有忍不完的限速时间。
如果你是夜猫子( 01:00-07:00 ),那倒是可以留着。
@614109 感谢,目前用下来发现陪读娃这个是最简单好用的,至于另一个插件暂时还是不考虑。

@heimoshuiyu 可自定义项太多,太硬核了,研究一下应该会很好用

@itechify 尝试了,但是发现 AI 智能分句依旧是一个 VIP 功能,不是很符合我的需求。

@syyyyy 倒不是 ds 的 api 的问题,翻译的都还挺准确的,就是原文字幕断句断的不好,连带着译文也怪怪的,偶尔有几个视频会这样,如果字幕断句断的合理的话,结果其实很不错了,我还是很满意

@nrtEBH 我自己是觉得有现成的,那还是用现成的好。
1 月 24 日
回复了 wzw 创建的主题 问与答 推荐一款专门用来打 王者荣耀 的手机
两款性能都过剩,打游戏握持舒服就选 neo11 ,全能就选 15 。都是长边"3k"屏(3168x1440)。

2 楼推的 Ace6t(2800×1272)电池比 neo11 大了 800mah ,但是你只打两三小时,7300 和 8000 基本不会造成体验的差距。

总结:一开始就只考虑两款 iqoo 的话说明 OP 是目标是偏 iqoo 的,所以买 neo11 吧。

附:不建议平板,特别是大的,太大太重了,操作很受限,小平板可以,但操作起来还是会有点不便。
1 月 8 日
回复了 beimenjun 创建的主题 全球工单系统 强烈要求 B 站加片中广告
1 、国内最常见的片头广告它都不敢加,你指望它敢加片中广告,是不是有点搞笑了。它现在的宣传点还是“哔哩哔哩观看全程无广告”,真加上片中广告,积累那么久的用户黏性一掉,其他平台都要笑嘻了。

2 、商单视频这个东西又不是只有 B 站有,YouTube 不也有商单视频,甚至 YouTuber 还能又做商单赚又靠播放量赚来两头吃。B 站的视频激励属于是大 UP 看不上小 UP 吃不着,大 UP 的数据好看但嫌钱少,觉得还不如专心做商单,就算一时半会没商单,接个大点的广也能吃一阵了;小 UP 的数据不好看所以吃不着,不如直接接个转转或者拼多多的广。做商单接广还不用给叔叔上供,就算真被 B 站逮了,最多给叔叔交点保护费,换我我也乐意做。

3 、UP 收益不足也不全是因为平台收益降低,还有视频制作成本的上升,你还能见到多少有体量的 UP 还是自己包揽全部的?不是组建了一支团队就是直接有一间工作室,人力、物力全都是成本,这成本怎么可能靠平台每条视频加几个广告就能补上来,所以现在大 UP 不是在接广就是在卖货,偶尔还会开直播带货,像影视飓风这种更大的 UP 还会去卖贴自己品牌的货,又能赚钱又能提升知名度。
2025 年 10 月 17 日
回复了 shendaowu 创建的主题 问与答 我的操作系统重装流程,求找错和补充
原来你们重装 Windows 都这么麻烦,我最多提前下好驱动,只格 C 盘,除了软件安装位置、快捷方式之外的所有文件夹整体搬迁到其他盘,装完再搬回去,软件也是用到什么装什么,反正最后吃灰的软件多,预装也懒得管了,一更新全回来了。
1  2  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3041 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 02:30 · PVG 10:30 · LAX 19:30 · JFK 22:30
♥ Do have faith in what you're doing.