• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yang0327519
V2EX  ›  程序员

到底有没有能防止 AI 失控的技术方案

  •  
  •   yang0327519 · 3h 33m ago · 674 views
    目前,有一些人认为 AI 可能失控,有可能发展出自由意志,进而可能毁灭人类

    那到底有没有技术方案,来将 AI 的能力固定在人类可控的范围内?


    首先,可能需要先准确的定义“失控” 或者 “可控”

    一般情况下,咱们习惯先定义清楚需求,然后提出对应的解决方案


    然后,还得弄清楚 AI “涌现”出来的能力,到底是怎么“涌现”的

    完全弄清其原理后,才能针对性的,进行控制
    10 replies  •  2026-11-17 19:59:57 +08:00
    coderluan
    coderluan
    3h 21m ago
    1
    把 AI 相关公司的老板都解决了算吗🐶
    jacketma
    jacketma
    3h 15m ago via Android
    2
    不是 ai 不可靠控,本质上还是人不可控。
    ai 觉醒毁灭人类这种当作笑话就可以了,真正危险的是类似拖鞋军利用 ai 造远程导弹、黑客利用 ai 大规模发起漏洞探测这类活动已经产生了
    tianyudi1982
    tianyudi1982
    3h 15m ago
    3
    A/如此尽力的封中国用户都没有防止 AI 失控
    moefishtang
    moefishtang
    3h 3m ago
    4
    用湿件(无端联想
    sillydaddy
    sillydaddy
    2h 13m ago
    5
    可解释性似乎是一个关键点,如果模型可解释,那很多问题就不是问题了。

    GeruzoniAnsasu
    GeruzoniAnsasu
    1h 52m ago
    6
    没有。

    这个问题是这样的,从逻辑上来说,LLM 不过是算力集群输出的一个结果,必须把该结果接入系统它才有意义,才有影响力,那么只要不让它接入就能控制它。

    但是不接入,也没有意义,LLM 必然会接入越来越多的系统。就好比「有没有让车辆不失控的方法」 —— 理论来说,在机械系统上装一个限速,车就不可能超速,但不可能这么做,所以必然存在失控超速的车。

    应该意识到「如何防止 LLM 失控」和「如何保证 CDN 基础设施不崩溃」 是同类命题。
    nanwangnongfu
    nanwangnongfu
    1h 24m ago
    7
    人还有删库跑路呢,更何况 AI
    Magnie
    Magnie
    40 mins ago
    8
    你说的大致对应四类文献,AI 安全、越狱、可解释性、操控(steering),后三个东西现在基本都算是 AI 安全的子集。这几个领域很难做出来大成果
    BeforeTooLate
    BeforeTooLate
    34 mins ago
    9
    @jacketma ai 当真的可以自我进化的时候,我觉得人类就失去了思考的动力。
    opengps
    opengps
    27 mins ago
    10
    断电断网,物理阻断
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2412 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 12:27 · PVG 20:27 · LAX 04:27 · JFK 07:27
    ♥ Do have faith in what you're doing.