在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由. - V2EX

Home Sign Up Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.

期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.

Supplement 1 · 3h 41m ago

用来检索一些大型的单证, 和客户分析,只要不并发太多, 足够了

Supplement 2 · 3h 36m ago

我也做了个统计面板, 这是 token 数量.

7 replies • 2026-09-07 14:15:32 +08:00

1

soleils

3h 59m ago

速度如何

2

wises

OP

3h 53m ago

@soleils 和显卡配置有直接关系, 显存越大肯定运行的模型越强, 不过目前这个显卡勉强能用,用来文字,图片处理, 一些在线客服足够用了.

3

YanSeven

3h 48m ago

比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。

4

wises

OP

3h 46m ago

@YanSeven 这么说吧, 如果企业中应用了这个, 用来处理大规模数据还是有用的, 比如文档/单证/会计律师事务所这些单证比较多的还是足够的.

5

soleils

3h 41m ago

@wises #2 我是说你这套能多少 token?

6

ostrichb

3h 39m ago

企業還不如直接買一個 DGX Spark 跑，不缺錢買這個

7

jinsongzhaocn

18 mins ago

最近几个月折腾硬件不划算，内存涨疯了，动不动就 1 万以上

About · Help · Advertise · Blog · API · FAQ · Privacy · Solana · 5750 Online Highest 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 25ms · UTC 06:34 · PVG 14:34 · LAX 23:34 · JFK 02:34
♥ Do have faith in what you're doing.