离线大语言模型，有能用的吗？

This topic created in 1249 days ago, the information mentioned may be changed or developed.

“能用”的意思是，至少能不胡说八道。

3 replies • 2023-06-14 13:15:28 +08:00

graetdk

Jun 14, 2023

挺多的，chatglm-6b ，还有 llama 的很多版本，基本都能用

noe132

Jun 14, 2023

之前用过 bloomz-7b1 ，3090 24G 配合降低精度能跑，说的内容勉强凑合，肯定比不上 chatgpt
感觉如果能跑 bloomz-176b (似乎需要 4 卡 A100)，应该能凑得上 chatgpt 3 的水平

itskingname

Jun 14, 2023

希望是在 Macbook Pro M1 能用的。