03danielwen
V2EX  ›  Local LLM

最低 9G 显存起步!老 3060 和 16G Mac 都能跑的 9B 前端代码模型(HF 总榜第 7)放出量化版了

  •  
  •   03danielwen · 19h 32m ago · 1575 views

    手头还留着老 3060 12G 的友这回真可以拿出来折腾了

    昨天商汤开源的 SenseNova Loop 9B 刚刚补齐了官方量化权重(AWQ 4bit 和 GGUF),直接把本地部署门槛压到了 9~10 GiB 显存起步。

    这意味着不仅老 3060 12G 能稳吃 64K 长上下文,连 16G 统一内存的 M 系列 Mac 关掉后台都能塞下跑起来 看了一下 Hugging Face 的 Trending 榜单,目前已经冲到了总榜第 7 的位置

    原版之前在前端代码生成(比如摄影杂志网页、动态海报、Three.js 场景)上的表现比较亮眼,现在有了量化版,本地部署的门槛降了不少

    显存占用与硬件门槛

    根据官方给出的显存估算数据:

    • 64K 上下文:4bit 权重 + 量化 KV Cache 约需 9~10 GiB 显存,主流 12GB 消费级显卡(如 3060 / 4070)基本都能跑起来,且留有长上下文推理空间。
    • 256K 上下文:在 16GB 显存设备上会比较吃力,具体表现取决于推理引擎优化和实际可用显存。

    量化版本选择与下载

    大家可以根据自己常用的推理框架按需选:

    AWQ 版本(适合 LightLLM / vLLM 等推理引擎)

    GGUF 版本(适合 llama.cpp / Ollama 等本地工具)

    • 模型地址:https://huggingface.co/sensenova/SenseNova-Loop-9B-GGUF
    • 体积与细节:Q4_K_M 主文件 5.82 GB,Q5_K_M 为 6.67 GB。如果需要用到多模态视觉(识图)能力,需要额外下载约 0.92 GB 的 mmproj 视觉投影文件,Model Card 里已经附带了适配 Loop 架构的 llama.cpp 分支版本和启动命令
    3 replies  •  2026-11-19 16:31:12 +08:00
    iintothewind
    iintothewind
    15h 43m ago
    1
    希望 SenseNova 团队尽快提交 llama.cpp 的 PR 并入 master, 让 llama.cpp 官方支持加载 loop 9b.


    - 上游 ggml-org/llama.cpp 的 master 分支(今天拉取)中,gguf-py/gguf/constants.py 和 src/llama-arch.cpp 的架构表里只有 sensenova_u1(那是另一个模型 SenseNova U1,来自已合并的 PR #28919),没有 sensenova_loop。
    - 所以加载时必然走到 src/llama-model.cpp:419 的 throw std::runtime_error("unknown model architecture: '" + ... + "'")。你看到的“不能识别”应该就是这条消息(如果不是,请把原文发给我,需要另外排查)。
    - 上游 issue ggml-org/llama.cpp#31571 目前仍是 open 状态,没有对应 PR 合入。也就是说,上游 master 至今不支持该架构。
    crocoBaby
    crocoBaby
    12h 27m ago via iPhone
    2
    日日新有免费的,只不过不好用
    NouveauNom
    NouveauNom
    5h 1m ago
    3
    关键是这个速度如何呢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2317 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:33 · PVG 21:33 · LAX 05:33 · JFK 08:33
    ♥ Do have faith in what you're doing.