我想自己训练一个 AI ,主要用来做 APP 客服,为它喂一些相关专业知识,方便为用户解答,请问有什么比较合适的开源 AI 吗?
要能在普通服务器上跑起来的。
我想自己训练一个 AI ,主要用来做 APP 客服,为它喂一些相关专业知识,方便为用户解答,请问有什么比较合适的开源 AI 吗?
要能在普通服务器上跑起来的。
|
azure2024usMar 17, 2024
1
GLM-130B , 国内清华大学的, 之前部署过。
推理 12g 显存就够了。 训练要 24g + 显存 才勉强跑的动。 |
|
frankyzfMar 17, 2024
2
ollama 的 mistral 可以试试
|
|
shinyzhuMar 17, 2024
3
最近在用 01 万物和 moonshot ,感觉能力都不错的。
|
|
LiftmanMar 17, 2024
4
这种需求自己训练极其不划算。而且效果不好。
|
|
v24radiantMar 17, 2024
5
最近用了一下 xverse 的,感觉还可以
|
|
SolixMar 17, 2024 via iPhone
6
给用户用就必须要 gpu 服务器了,然后看看用户量计算一下能承受多少成本,算完你就会发现你会破产。
|
|
kidljMar 17, 2024
7
可以手机推理的端侧大模型( 2B ): https://github.com/OpenBMB/MiniCPM
|
|
lithiumiiMar 18, 2024 via Android
8
套路一般是买 GPT-4 的 API 先顶着,凑了几百条数据之后就可以微调一个便宜的本地模型了
|
|
wwhcMar 18, 2024
9
Privategpt+Mistral 7B 用 1080ti 推理速度就很好了,或者 Privategpt+Mixtral 8x7B ,合法可商用性能很好的开源模型,但对 GPU 要求高
|
|
zanshinMar 18, 2024 via iPhone
10
Grok 刚刚开源
|
|
weixindMar 18, 2024
11
https://fastgpt.run/ 这种之类的知识库解决方案 + GPT-3.5/4 基本上差不多了。自己微调和部署的成本短期来看会是更高的。
|