据说 llama3 70b 能接近 gpt4 的效果，有用过的兄弟没？
This topic created in 910 days ago, the information mentioned may be changed or developed.
 |
ninoMay 9, 2024
1
128G 可以跑起来 70b ，但是还是挺慢的，没有什么实用性，本地还是跑 8b 的合适。追求效果还是买 Groq ，DeepSeek 之类的吧。
|
 |
maolonMay 9, 2024 via Android
2
接近是接近，推理和跟随用户指令上来说还是差点意思，中文能力更差点意思，另外用 groq 就可以了，个人用直接免费那一档不会超限制。
|
 |
3
多谢 #1 #2 ，groq 还是不错的，哈哈
|
 |
jimmyMay 9, 2024
4
MBP M2 Max 64G 跑 Llama3 8B 速度很快，效果么，没对比过不知道具体情况。
|
 |
RoryskyMay 10, 2024
6
16gb 能跑什么模型
|
2 |
8
你只是单纯想买台新电脑🤪
|
 |
9
我用过，得用压缩后的。q8 大概会占用 70G 的内存，只是对话的话可以正常进行。效果只能说能正常对话，想要处理点工作估计够呛。
|
 |
winson030May 10, 2024
10
好奇个人用户在本地跑这么大的模型需求点是啥？我算了下，70b 这种大模型用 api （加上解决网络问题）花的钱比自己攒机器跑要便宜很多。本地运行 llama3 8b 这种模型倒是很合适。目前我的想法是，找机会把各种大模型平台的 API 都开了（反正都是 pay as you go ），整合到 one api 里，想用哪个用哪个。本地机器跑小模型，保证输出效率
|
 |
qweruiopMay 10, 2024
11
很慢。。。m3 max 128 走过。。。老老实实买 4090 吧。。。
|
 |
Chihaya0824May 10, 2024
13
q4 64g 的都能跑，大概 8tokens/s ，4090 想跑还得买两个，但是会快特别多
|
 |
wclebbMay 10, 2024 via iPhone
14
|
 |
volvo007May 10, 2024 via iPhone
15
在等公司的 H800 计算节点下来，可能禁运影响只能买 A800 的，那也行啊，慢归慢点，显存还是 640G ，能玩好多东西
|
 |
moudyMay 10, 2024
16
ipad pro 刚上 m4 ，建议观望一下下个月发布会，看看 mbp 会不会也上 m4
|
 |
wsbqdyhmMay 22, 2024
19
我用 m1max64g 跑的这个，只能说能用吧，有点慢，gpu 占用 70-80%
|
Select Language