可以瑟瑟的，本地部署，要求 12G 内存以下，或者 16G 勉强上，可以本地部署的模型有哪些比较好用的？
This topic created in 328 days ago, the information mentioned may be changed or developed.
 |
1
比较简单的计算方法，例如 6B 模型，如果用 BF16 的话，乘以 2 ，就是 12GB 运存（显存/内存）。然后还有激活 activation ，就是我们常说的 KV Cache ，也会随着上下文长度增加，具体不太好估计，得看看是 MHA ，GQA 还是 MLA 结构才知道增长倍数
|
1 |
neosfungDec 21, 2025 via Android
2
好吧，才看到不是语言大模型
|
 |
3
z-images
|
 |
miusmileDec 21, 2025
4
“可以瑟瑟的”是什么意思，屌大的解释一下
|
 |
crackselfDec 21, 2025 via Android
6
难道是 goonsai/qwen2.5-3B-goonsai-nsfw-100k
|
|
7
|
 |
tomclancyDec 22, 2025
8
借楼问一下 gemma3 27b 怎么解开道德限制
|
 |
salorDec 22, 2025 via iPhone
9
小体积的模型瑟瑟也是智障，上下文长了就成复读机了，Grok 才是真神。
|
 |
10
下午刚看到这个，实际没用过 https://mp.weixin.qq.com/s/hqpN4U0YEgOa-QYXNuEBPg
|
 |
11
@goodryb qwen-image 是 20b 的，而且文生图的模型计算瓶颈较大，如果 offload 比较多很影响性能。z-image-turbo 相对低要求
|
Select Language