 |
H100*2 本地部署大模型求助 Lekou • 7h 8m ago • Lastly replied by eben | 12 |
 |
strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill sentinelK • 1 day ago • Lastly replied by Ken1028 | 15 |
|
你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s sentinelK • 5 days ago • Lastly replied by catazshadow | 7 |
 |
RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next — Strata 安装跟实测
TGOcc PRO |
16 |
 |
本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！ jinsongzhaocn • 7 days ago • Lastly replied by noErr | 18 |
 |
有什么本地部署好使的写代码小模型吗？ 24GB 显存玩玩那种 52txr • 9 days ago • Lastly replied by jinsongzhaocn | 20 |
 |
小模型训练、蒸馏、微调的需求大吗？目前想训练自己的模型、又觉得成本太高放弃或犹豫的团队多吗 qwzhang01 • 9 days ago • Lastly replied by coefu | 2 |
 |
2 万块以内，可以本地部署的最好的模型是哪个？ jedeft • 9 days ago • Lastly replied by levn | 10 |
 |
有没有人装过 Strata + Qwen3.8-Flash-Next 125b？我遇到的问题是在 workbuddy 里一直超时。 zktz • 15 days ago • Lastly replied by passive | 8 |
 |
pro6000 部署 Qwen 3.8 flash next nvfp4 zzutmebwd • 11 days ago • Lastly replied by jinsongzhaocn | 56 |
 |
人人编程 VS AI SaaS，真的有优势吗？ jacketma • Sep 30 • Lastly replied by 94 | 4 |
 |
有用 mac 跑 minimax H3 的吗，好后悔买了 48G 内存的 macbook lightzh • Sep 22 • Lastly replied by chapiom | 39 |
 |
2 台 DGX Spark 上运行的本地 LLM 横向对比 ldm0 • Sep 30 • Lastly replied by peyppicp | 32 |
 |
老哥们，预算 3w 左右想弄一套小型化本地大模型硬件，求推荐 turing518 • 1 day ago • Lastly replied by radiohide | 22 |
|
部署 Qwen3.8-27B 模型死循环问题最新升级 jinsongzhaocn • Sep 30 • Lastly replied by jinsongzhaocn | 6 |
 |
deepseek v4.1 Flash 发布了 Insolitude • Sep 12 • Lastly replied by CyouYamato | 4 |
 |
mac 本地部署 llm 不是最佳选择 Need4more • Sep 27 • Lastly replied by ChriskurtDave | 91 |
 |
qwen3.8 本机部署后搭配什么搜索工具呢？ idblife • Sep 4 • Lastly replied by wises | 19 |
|
DeepSeek-V4-Flash-Vision-Exp 权重开源了，原生视觉集成
TGOcc PRO |
4 |
Select Language