想配一台电脑本地部署开源的大语言模型如 Llama 、ChatGLM 等，制作推理，不做训练，如果可能的话做一下精调，请问大概需要什么样的机器配置？或者有什么便宜的云 GPU 资源？
This topic created in 1254 days ago, the information mentioned may be changed or developed.
 |
anonydmerMay 30, 2023
1
A100
|
 |
poyanhuMay 30, 2023
2
弄云 GPU 资源，还不如自己买显卡。
|
 |
glfpesMay 30, 2023
3
阿里云 pai
|
 |
graetdkMay 30, 2023
4
看参数量啊，例如 6b 或者 7b ，24- 32G 显存的都可以，如果用了半精度，那显存还可以更低，云 GPU 可以用 V100 ，A30 ，A100
|
 |
5
参数用 fp32 存的话，Model Memory=Model Parameter * 32 / 8 ，比如说 7B 的 LLaMA 就是 4*7 Billion Byte= 28GB
fp16/bp16 减半，int8 再减半 Inference 时，Total Memory ≈ 1.2 * Model Memory ，因此全量 7B LLaMA 需要 40G 的显卡 全量微调的需要的参数量就更多了，> 5 * Model Memory （ AdamW 优化器，另外没算 Activation Memeory ，与 tokens 量有关） 因此想要微调可以看下低参数量微调的工作，像 lora 等 https://github.com/huggingface/peft ，配合 16 精度参数能在 24G 上微调 更具体数字可以参考 https://blog.eleuther.ai/transformer-math/ |
1 |
6
@Volekingsg 感谢详尽的回复
|
Select Language