dary141229
V2EX  ›  Local LLM

想本地部署 AI 大模型,主要用于 AI 问答聊天,电脑配置需要什么样的,总预算 1w5 以内

  •  
  •   dary141229 · Apr 7, 2024 · 1560 views
    This topic created in 871 days ago, the information mentioned may be changed or developed.

    包含显卡,cpu,主板,内存条,散热,电源,固态等

    2 replies    2024-04-08 10:22:10 +08:00
    gneko
        1
    gneko  
       Apr 8, 2024 via iPhone
    内存显存越大越好,这两项是决定你能不能跑起来的东西,其次才是 CPU 和 GPU 的计算频率。

    借楼问一下,本地大模型有什么推荐吗?我用 ollama 跑几个官网上的模型,效果实在有点惨不忍睹😂
    ZnductR0MjHvjRQ3
        2
    ZnductR0MjHvjRQ3  
       Apr 8, 2024
    1.5 就算了吧 7b 和弱智一样 最低预算 3w
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1209 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 17:43 · PVG 01:43 · LAX 10:43 · JFK 13:43
    ♥ Do have faith in what you're doing.