Daniel6606

来看看这个开源 9B 模型的审美吧

  •  
  •   Daniel6606 · 1 day ago · 1961 views

    今天商汤开源了 SenseNova Loop 9B 正式版,能看图、写代码、分析数据并配合工具完成复杂任务,同时更容易部署在自己设备上,9B 的权重就能白嫖 27B 的推理能力

    官方做了一个很有意思的实验:保持 9B 权重不变,把训练和推理的循环次数从 1 次加到 3~4 次,LiveCodeBench V6 和办公数据分析任务的分数还能继续涨 6.4% ~ 16.9%

    虽然为了兼顾推理速度默认设了 2 次循环,但后续如果搞出按任务难度自动分配循环次数的 Dynamic Loop,端侧和小显卡跑强推理就更有戏了

    因为是国产模型,所以除了英伟达的卡之外,国产的 GPU 也能适配:如寒武纪、摩尔、海光、沐曦、天数等

    链接:

    先看几个效果:

    1. 漂亮网页的制作:《海岸线以外》摄影杂志式的网页

    2. 《字形接力 TYPE RELAY》动态字体交互网站:

    3. 《失真频率 DISTORTION FM》音乐节动态海报网页

    4. 3D 网页:《仙家集市》(Three.js)

    为啥这个模型叫 loop 呢?

    普通模型可以理解为:一道题沿着流水线走一遍,逐层处理。 SenseNova Loop 则是:

    1. 先经过开头的 4 层。
    2. 经过中间的 24 层。
    3. 拿着刚才处理后的结果,再经过同一组 24 层。
    4. 最后经过结尾的 4 层,输出结果

    模型架构图:

    主要的亮点是:

    • 共享循环模块(物理 32 层 -> 实际计算 56 层):模型物理上只有 32 层解码器(只需加载约 9B 的 BF16 权重),但它在前向传播时,把中间的第 4~27 层(共 24 层)循环执行了 2 遍()。算下来一次前向传播走了 4 + 24×2 + 4 = 56 层,推理等效参数规模直接拉到了 14.6B

    • 双流 mHC(流形约束超连接):单纯把层循环跑两遍很容易特征退化。它引入了双残差流设计,通过可学习的路由映射(20 次 Sinkhorn 归一化迭代)在两条残差流之间动态混合信息,每次循环前先读流、算完再写回

    • 混合注意力 + 512K 超长上下文:每 4 层为一组(3 层线性注意力 + 1 层全注意力),兼顾了循环对齐和长文本效率,原生支持图文输入和 512K tokens 上下文

    Benchmark:

    在 Agent 和代码榜单上,正式版相比 Preview 提升非常猛,直接和 Qwen3.8-27B 掰手腕:

    • NL2Repo(代码仓库生成):拿到 45.68,反超了 Qwen3.8-27B 的 44.60
    • GAIA(通用 Agent):达到 69.90(Preview 只有 37.86),略超 Qwen3.8-27B 的 66.99
    • BIRD & AIDABench(数据分析/SQL):分别达到 72.34 和 62.46~65.31,基本追平甚至微超 27B 级别模型

    4 replies  •  2026-11-19 12:44:12 +08:00
    iintothewind
    iintothewind
    1 day ago
    1
    正式版放出了?
    这么快, 我认为这个模型非常有意思, 值得尝试.

    其实企业 agent 落地, 9b 模型是很好的选择, 在我们这边 9b 是主力模型, 承担了大部分的场景任务. 每天好几亿的消耗量, 在线模型的 API 花销真的不小.
    iintothewind
    iintothewind
    20h 49m ago
    2
    今早上看到 SenseNova 发布了量化版本, unsloth studio 运行说不能识别, 依赖的 llama.cpp 版本还没更新, 只能再等等了:

    - 上游 ggml-org/llama.cpp 的 master 分支(今天拉取)中,gguf-py/gguf/constants.py 和 src/llama-arch.cpp 的架构表里只有 sensenova_u1(那是另一个模型 SenseNova U1,来自已合并的 PR #28919),没有 sensenova_loop。
    - 所以加载时必然走到 src/llama-model.cpp:419 的 throw std::runtime_error("unknown model architecture: '" + ... + "'")。你看到的“不能识别”应该就是这条消息(如果不是,请把原文发给我,需要另外排查)。
    - 上游 issue ggml-org/llama.cpp#31571 目前仍是 open 状态,没有对应 PR 合入。也就是说,上游 master 至今不支持该架构。
    xiaket
    xiaket
    14h 9m ago
    3
    昨天拿 mlx_lm.server 和 litellm 加了几个 hack 让这个能跑起来给 codex 当后端. 不过 24G 的 M3 跑起来体验很差, 出 token 很慢, 中间等着无聊去找人聊天, 回来发现电脑完全卡死. 目前离日常编程使用还有一定距离.

    即使不当做日常编程使用, 我问母鸡为什么要过马路, 也花了近十分钟才告诉我答案.

    ```
    {~/vllm}grep -i wait resp
    * *Wait, let's recall the specific Chinese version:* There isn't one single "standard" joke like "Why did the chicken cross the road?" in English. However, there are common humorous responses used in Chinese internet culture or casual conversation.
    * *Option 8 (Wait, is there a specific pun?)* Let's think about "Hen" (鸡). "Ji" (Chicken) sounds like "Ji" (Machine/Record/Instant).
    * *Wait, let's look for the most "standard" humorous response.*
    * *Wait, I recall a specific pun:*
    * *Wait, there's a specific meme:* "因为它是**去相亲**。" (Because it's going on a blind date.)
    * *Wait, one more possibility:* Is this a reference to a specific movie or song?
    *Wait, I found a specific "Cold Joke" database entry:*
    *(Self-Correction during drafting)*: Wait, there is a specific joke where the answer is "Because it's a **Hen** (Mu Ji), not a **Rooster** (Gong Ji)." No, that doesn't make sense.
    *Wait, one more check:* Is there a specific meme involving "Hen crossing the road"?
    *Wait, I want to make sure I don't sound like a search engine.* I should sound conversational.
    *Wait, is there a deeper meaning?* No, just a joke.
    *Wait, is there a political metaphor?* Sometimes "Crossing the road" implies risk. But for a hen, it's usually just a joke.
    *Wait, is there a reference to the game "Egg Dash"?* No.
    *Wait, one more thing:* There is a joke: "因为它是**去** **相亲** **。**" (Because it's going on a blind date.) This is very cute. I'll include this.
    *Wait, I need to check if there is a specific "Standard Answer" in China.*
    *Wait, I found a very popular one:*
    *(Wait, one last thought)*: Is there a reference to the song "Why Does the Hen Cross the Road"?
    *Wait, I recall a specific joke:*
    *Wait, is there a chance the user is testing my ability to detect "nonsense questions"?*
    {~/vllm}grep -ic wait resp
    19
    ```
    gitlight
    gitlight
    8h 51m ago
    4
    证明了 openai 在 Loop Transformer 上没走弯路
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2301 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 13:36 · PVG 21:36 · LAX 05:36 · JFK 08:36
    ♥ Do have faith in what you're doing.