jedeft
V2EX  ›  Local LLM

2 万块以内,可以本地部署的最好的模型是哪个?

  •  
  •   jedeft · 3 days ago · 2747 views

    不考虑输出速度的情况下

    9 replies  •  2026-10-07 19:50:35 +08:00
    yidinghe
        1
    yidinghe  
    PRO
       3 days ago via Android
    看看 strata 这个项目,就很适合。

    https://github.com/Niko1221/Strata
    levn
        2
    levn  
       3 days ago
    glm5.3 flash > qwen3.8 next > qwen3.8 27b
    strobber16
        3
    strobber16  
       3 days ago via Android
    得加钱
    defa21312
        4
    defa21312  
       3 days ago
    qwen3.8flash ?据称超过 27b 了,需要 12g n 卡+128g 内存 freetoken 推理,2w 还是能拿下的,decode 速度不比 27b 慢,但是 prefill 速度很慢
    penisulaS
        5
    penisulaS  
       3 days ago
    mac 的解决方案:Qwen3.8-Flash-Next-REAP-288-oQ4e-BF16-MTP-PLE
    jedeft
        6
    jedeft  
    OP
       3 days ago
    @penisulaS 生成质量怎么样?
    alexjoker467
        7
    alexjoker467  
       3 days ago
    monk66601
        8
    monk66601  
       2 days ago
    @yidinghe 用了 1 天了,用破限模逆向很不错
    uprit
        9
    uprit  
       2 days ago
    @levn glm5.3 flash ,2 万块能跑起来?具体说说啥配置啊?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5535 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 94ms · UTC 07:49 · PVG 15:49 · LAX 00:49 · JFK 03:49
    ♥ Do have faith in what you're doing.