因为特殊需求, 需要离线查代码相关资料.
或者请问有这方面的排行榜 /测试表吗
或者请问有这方面的排行榜 /测试表吗
This topic created in 1234 days ago, the information mentioned may be changed or developed.
 |
1
8g 的模型除了画图都是玩具，基本没多长的会话长度，想真的用还得整个 o22g 的魔改版
|
1 |
2
本地
8G 显存 这两点就决定了当前不会有可用的 |
 |
3
好奇是什么资料查询需要用到 AI 模型
|
 |
4
已经测试过了，目前能在消费级 GPU 上运行的开源模型，没有任何一个在代码能力方面达到可用水平的。
|
 |
5
|
 |
yanyuechuixueJun 23, 2023
6
借楼问下，24G 的话有什么模型可以跑呀？
|
 |
swullingJun 23, 2023 via iPhone
7
@yanyuechuixue 24G 显存，可以跑 40B 参数模型的 4bit 量化版本。
|
|
yanyuechuixueJun 23, 2023
8
@swulling 谢谢大佬！请教一下，40B 的 4bit 量化和 7B 的无量化哪个性能好一些呀？
|
|
swullingJun 23, 2023 via iPhone
10
@yanyuechuixue 那肯定是大参数好
|
Select Language