cuteshell
V2EX  ›  Local LLM

学习大模型的显卡怎么选型

  •  
  •   cuteshell · Jun 2, 2025 · 8911 views
    This topic created in 532 days ago, the information mentioned may be changed or developed.
    想高性价比的配一个主机进行大模型的学习,预算不超过 2 万,能够进行大模型的训练和推理,自己研究了一下,有两套方案,请大家帮拿拿注意。

    方案一:一张 5070Ti ,显存 16G ,估计只能训练一些 3B 、4B 的小参数模型
    方案二:两张 5060Ti 的显卡,显存可以达到 32G ,可以训练一些 7B 、8B 的模型,但是单张计算性能只有 5070Ti 的一半。

    之前在公司用 A800 和 3090 做过训练,感觉性能还行,5070Ti 能更接近 3090 ,不知道到有没有用 5060Ti 做过训练的朋友,5060Ti 的性能是不是太低了,如果性能太低,光显存大是不是也没多少用。或者大家有没有更好的方案。
    30 replies  •  2025-06-03 15:21:44 +08:00
    cpstar
    cpstar
    Jun 2, 2025
    1
    就 16G 显存还训练??一张 3090 的 24G 完全秒杀,省 xing 省 xing 吧。
    就 5060 还双卡??没有 nvlink ,就靠 pcie 那点带宽,省 xing 省 xing 吧。
    cuteshell
    cuteshell
    OP
    Jun 2, 2025
    2
    @cpstar 之前在公司用 8 卡的 A800 ,也是 PCIe ,多卡训练时感觉还是可以的
    nomagick
    nomagick
    Jun 2, 2025
    3
    16G 3B 4B 你也训不了,不过学习嘛,0.5B 还是可以的;
    话说回来,LLM 这种应用,主要吃带宽,还不如买 mac 了,内存即显存
    crackidz
    crackidz
    Jun 2, 2025
    4
    租卡可好?
    lovestudykid
    lovestudykid
    Jun 2, 2025
    5
    @nomagick "主要吃带宽","还不如买 mac",你是怎么把这两句话连在一起的
    testcgd
    testcgd
    Jun 2, 2025 via Android
    6
    训练直接租 autodl 吧,本地优先考虑推理和 debug ,5060x2 会好一点
    cuteshell
    cuteshell
    OP
    Jun 2, 2025
    7
    @nomagick 之前用 24G 的训练过 Qwen 7B ,不过输入的 token 不能太多,16B 训练 4B 模型,按比例算可能是可以的,不过确实没有试过。
    cuteshell
    cuteshell
    OP
    Jun 2, 2025
    8
    @crackidz 租过阿里的试过,不用的时候停机,再启动记得好像有点问题,我再试试
    cuteshell
    cuteshell
    OP
    Jun 2, 2025
    9
    @testcgd 好的,多谢
    2ruowqe9r
    2ruowqe9r
    Jun 2, 2025
    10
    模型训练,我感觉数据整理好麻烦,OP 是怎么解决的?
    coefu
    coefu
    Jun 2, 2025
    11
    4*2080ti 22g.
    cuteshell
    cuteshell
    OP
    Jun 2, 2025
    12
    @2ruowqe9r 之前是人工整理的,还有让用户参与收集,自己写脚本再整理一下。看还有 easydataset 什么的,不过还没用过
    nomagick
    nomagick
    Jun 2, 2025
    13
    @lovestudykid 嗯?

    20s PCIE3.0 x16 ~32GB/s
    30s 40s PCIE4.0 x16 ~64GB/s
    50s PCIE5.0 x16 ~128GB/s

    Mac Mini M4 120GB/s
    Mac Mini M4 Pro 273GB/s
    Mac Studio M4 Max 410GB/s
    Mac Studio M3 Ultra 819GB/s
    nomagick
    nomagick
    Jun 2, 2025
    14
    @cuteshell LoRA 微调和全参数训练还是不一样的
    mumbler
    mumbler
    Jun 2, 2025
    15
    2080ti 22G 最好,支持 nvlink ,5000 元实现 44G 显存,英伟达坑比较少

    建议研究 agent ,别在大模型微调上浪费一分钱
    lovestudykid
    lovestudykid
    Jun 2, 2025
    16
    @nomagick #13 你主要看带宽,难道不应该看单卡,要容量才看多卡。RTX 5090 1792 GB/s
    cuteshell
    cuteshell
    OP
    Jun 2, 2025
    17
    @nomagick 本来主要是想 lora 微调,你说的对,如果学习,全参数或继续预训练也可能会需要。
    Rendex
    Rendex
    Jun 2, 2025
    18
    或者 V10016G 闲鱼现在有双卡或者 4 卡的 nvlink 底板卖,这玩意因为配置麻烦,是现有显卡唯一在降价的
    Rendex
    Rendex
    Jun 2, 2025
    19
    @Rendex #18 v100 16g 说是 500 左右,一路从 700 降下来的,底板可能要将近 1k
    davidqw
    davidqw
    Jun 2, 2025 via iPhone
    20
    再加点钱把 4090 魔改 48G 版本拿下
    murmur
    murmur
    Jun 2, 2025❤️1
    21
    本地大模型也就玩玩 stable diffusion 了,学习角度一定是租用 API 最好,量化模型跟玩具一样,现在都在搞提示词工程师,你的模型就是阉割版,给再好的提示词出东西也没别人好

    就别说本地 deepseek 了,claude3.5 到 3.7 到 4 ,这几个版本写码能力肉眼可见的进步
    joynvda
    joynvda
    Jun 2, 2025
    22
    我只做推理,AMD MI50 32G ,二手 1k 搞下来; AMD MI100 32G , 二手 6-7k 左右(限于贫穷还不敢赌这个方案)
    rocm6.3+, Pytorch 2.7

    或者考虑 AMD MI50 、MI100 二手训练的可行性。
    frankyzf
    frankyzf
    Jun 2, 2025
    23
    @murmur 估计 op 是想学习大模型底层的知识,比如 fine-tuning ,只调用 API 没法学
    m1nm13
    m1nm13
    Jun 2, 2025
    24
    @joynvda 这个没法用 vllm 吧?ollama?
    charslee013
    charslee013
    Jun 2, 2025
    25
    2080ti 反而不好,不支持 bfloat16,目前大语言模型都是 bfloat16 权重,建议 30 系尤其是 40 系往上

    消费级别最好的推理和训练的显卡是 4090 48GB ,不过显然超预支就是了...
    lyt001
    lyt001
    Jun 3, 2025
    26
    云平台租卡,当然你要想买来打游戏当我没说
    clemente
    clemente
    Jun 3, 2025
    27
    @mumbler 2080ti 能跑 fp16 bf16 fp8 吗....
    mumbler
    mumbler
    Jun 3, 2025
    28
    @clemente #27 这些问题你可以直接问 deepseek+联网搜索
    xiliang
    xiliang
    Jun 3, 2025
    29
    @mumbler 5000 元可以两个吗?我看都干到 3000 一个了,去年还很便宜
    coefu
    coefu
    Jun 3, 2025
    30
    @xiliang 年初 2500 可以搞到一个的,价格总是起起伏伏的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2481 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 76ms · UTC 00:33 · PVG 08:33 · LAX 16:33 · JFK 19:33
    ♥ Do have faith in what you're doing.