• 请不要在回答技术问题时复制粘贴 AI 生成的内容
imnotlxy
V2EX  ›  程序员

基于机密计算的 LLM 推理商

  •  
  •   imnotlxy · 4h 9m ago · 286 views

    AI 公司对用户隐私可能不太上心,经常有意或无意地爆雷。

    这些都是 coding agent 的问题,但难保 AI 公司的推理服务能遵守其承诺。有些推理商承诺「不用客户提示词训练模型」,甚至零数据留存( ZDR ),但用户无法监督执行情况。所以我整理了一些利用机密计算和端到端加密保证安全的推理服务商,供大家参考。

    • Chutes:入驻 OpenRouter ,支持 Kimi K3 、GLM 5.2 、DeepSeek V4 0731 、Qwen 3.8 27B 等,提供 $10->$50 和 $20->$100 的套餐。
    • Phala:入驻 OpenRouter ,模型比 Chutes 更全,但没有能够省钱的套餐。
    • Near AI:支持 TEE 的模型比较少,能用的基本只有 GLM 5.3 Flash 、Qwen 3.8 27B 、Kimi K3 。没有套餐。这家的 Kimi K3 价格没有优势。
    • PrivateMode:模型少,比起模型官方渠道有加价。
    • Tinfoil:支持 Kimi K3 、GLM 5.3 、GLM 5.3 Flash 、DeepSeek V4 Flash 0731 ,比起模型官方渠道有加价。
    • Venice:支持模型较多,比起模型官方渠道有加价,提供套餐但套餐的用量补贴较少。

    如果接受使用开放权重模型、按量付费,可以考虑上述的推理商。Chutes 提供了套餐,不过据称服务可靠性偏低。上述提供商的端到端加密功能需要用户在本地运行 API 中转。

    r6cb
        1
    r6cb  
       2h 2m ago
    这所谓的端到端加密也不能保证数据不会被滥用啊。模型在推理时仍然要解密,服务商想拿数据去做什么都无法通过“端到端加密”进行保护
    ltyj2003
        2
    ltyj2003  
       1h 18m ago via Android
    是的,要保密,只能离线部署。
    PersueYan
        3
    PersueYan  
       38 mins ago
    理论上可行,实际算力消耗会大很多吧
    普通加减乘除还行,最怕的是密文和明文、密文和密文比较的中间结果,会导致后面的计算量倍增(密文下所有可能性都得算)
    PopRain
        4
    PopRain  
       4 mins ago
    大公司都不能相信,这种二道贩子可以相信吗?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4940 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 93ms · UTC 09:36 · PVG 17:36 · LAX 02:36 · JFK 05:36
    ♥ Do have faith in what you're doing.