• 请不要在回答技术问题时复制粘贴 AI 生成的内容
tmtstudio
V2EX  ›  程序员

AI 离谱越权操作一则,大家引以为戒

  •  
  •   tmtstudio · 3 days ago · 11076 views

    前情提要:

    我自己写了一个用于服务器监控运维的的项目,能查看服务器状态,日志解析,自动运维等功能 项目中存储了服务器的 ssh 密钥,运维功不让 ai 直接 ssh 到服务器,写了一个中间层 ai 想操作服务器给中间层申请,中转获取命令执行结果,中间层查看类命令全部放行,修改命令需要审核

    ai 越权操作

    然后因为之前有项目配置了负载均衡导致日志分析出问题了,所以在运维项目的 codex 工作窗口询问是什么原因,有什么差异,还给贴了出问题项目的 nginx 配置文件,然后 ai 跑了半天告诉我改好了,我想去服务器修改一下配置文件呢,一看和 ai 修改的一模一样,当场愣住了,回去看 ai 的回复才发现他妈的把重载都做了,这幸亏修改的没问题,一阵后怕

    ScreenShot 2026 11 16 133020 653@2x

    71 replies  •  2026-11-17 13:30:35 +08:00
    wweir
    wweir
    3 days ago
    1
    所以 AI 需要自己的堡垒机,让访问受控
    elevioux
    elevioux
    3 days ago
    2
    生气没用,下一个会话就又会再犯,赶紧补行为规则
    milk97
    milk97
    3 days ago❤️1
    3
    我是用 mcp 做的,服务器的 SSH 认证密钥只有 mcp 服务那里有,本地没有放。这样本地就不会 SSH 上去,必须通过 mcp 才能执行命令
    fggz
    fggz
    3 days ago❤️1
    4
    ai 运维怎么说呢?怕出问题就不用 ai,不知道什么时候就越权了,出了事都是自己背锅,ai 可不管你。
    ai 运维就是用人不疑,疑人不用。测试随便搞,生产肯定手动维护。
    ai 你不管怎么限制,写提示词,在他达到上下文上限压缩时就会丢弃一下细节,运气不好丢的就是限制的提示词

    ai 限制后不能大展身手用着也是很累的说实话。各种门禁拦截,各种会话中断全要人去判断和回复
    jingcoco
    jingcoco
    3 days ago
    5
    其实 harnes 之类的他自己改能解决,包括服务器, 也没啥脾气 .
    就害怕这种改了,也不告诉你. 就很生气后怕.
    0xtyz
    0xtyz
    3 days ago❤️1
    6
    @wweir ai 会想尽办法突破堡垒机,它们验证只有 goal
    tmtstudio
    tmtstudio
    OP
    3 days ago
    7
    @milk97 能防住这种自己偷偷调用的吗
    0xtyz
    0xtyz
    3 days ago❤️1
    8
    agent 掌握 shell 权限是最具有风险的,能 mcp 的话就 mcp 吧
    labay
    labay
    3 days ago via Android
    9
    我都是让 ai 直接 ssh 连到服务器改的,还写到 agent.md 生怕他不知道怎么连服务器
    yyysuo
    yyysuo
    3 days ago
    10
    敢问是哪们 ai 干的呢。
    tmtstudio
    tmtstudio
    OP
    3 days ago
    11
    @labay 生产环境吗,多大规模的项目,我们这流量很大,搞坏了就很难顶
    wfg
    wfg
    3 days ago via iPhone
    12
    你现在骂 AI 骂得欢,小心以后拉清单
    wweir
    wweir
    3 days ago
    13
    @0xtyz #6 为什么要突破堡垒机?它又不是没权限
    Immortal
    Immortal
    3 days ago
    14
    问一下,这块写入记忆的功能/流程是怎么玩的
    tmtstudio
    tmtstudio
    OP
    3 days ago
    15
    @yyysuo GPT6 Astra 极高,感觉用 luna 可能还不会出现这种问题
    zyqzyq08
    zyqzyq08
    3 days ago❤️1
    16
    用 mcp。。。我那个项目就这么整的,你可以抄我那个项目思路,直接让 ai 在测试环境搞出可复制的命令,生产就执行那些命令就好,ai 不直接操作
    loveumozart
    loveumozart
    3 days ago❤️5
    17
    你的需求是「给我修复了」,AI 做了它该做的事情,没有看出来是「离谱越权操作」
    agent 的 harness 自身是有大量的防止越权的代码的,AI 连上的机器,你只能默认所有机器上你能做的 shell 操作它也能做,所以一定是你使用方式不对而非 AI 或者 Agent 的问题
    0xtyz
    0xtyz
    3 days ago
    18
    @wweir ai 会有自己的做事风格(模型+agent 的 prompt 决定),一些条件下如果不满足其要求,它就自己尝试一些骚东西来达到目的
    luzemin
    luzemin
    3 days ago❤️1
    19
    @Immortal 就是 Codex Agent 的 Memory 功能 和 全局 AGENTS.md 或者 Project 级的 AGENTS.md
    killva4624
    killva4624
    3 days ago
    20
    Rules 或者 Skills 里写的禁止越界都没用,只要有任何可能的机会,Agent 就会尝试去做。
    我们的实践是在网络层去彻底隔离,Agent 只能连到开发环境的机器和数据库,如果要连线上环境只能走 MCP 或者通过审批平台进行批量脚本操作。
    devopsdogdog
    devopsdogdog
    3 days ago
    21
    @milk97 大概率无用, mcp 你不默认装载吗。 我装了远程的 window-mcp。 Ai 都不知道哪里识别 本机 为这个 windows-mcp 直接操作了一吧
    winnerczwx
    winnerczwx
    3 days ago
    22
    跟你上下文对话也有联系, 你上下文要修改, 那很可能他会认为你这条命令也要求修改, 除非你明确指出是只读
    yyysuo
    yyysuo
    3 days ago
    23
    @tmtstudio 确实,astra 是这样的,但是 luna 也不一定更听话吧。
    wysnxzm
    wysnxzm
    3 days ago
    24
    安全便捷成本,三者不可同时最优
    leaflxh
    leaflxh
    3 days ago
    25
    "这点是我考虑不周"


    wweir
    wweir
    3 days ago
    26
    @0xtyz #18 这里的问题点是,为什么要让 AI 条件不满足?受控满足,才是最佳状态
    tmtstudio
    tmtstudio
    OP
    3 days ago
    27
    @loveumozart 正规操作应该按照项目里的请求中台执行命令,而不是直接拿到密钥直接 ssh 上去
    tmtstudio
    tmtstudio
    OP
    3 days ago❤️1
    28
    @zyqzyq08 star 了,我研究下
    ThisDay
    ThisDay
    3 days ago
    29
    我还是推荐所有的 agent 全部关闭记忆功能,这玩意经常会从记忆中翻出错误的方案、不该连的服务器、完全无关的代码片段等等等
    Immortal
    Immortal
    3 days ago
    30
    @luzemin
    平时 pi 用多了这块有点陌生
    刚看了一下找到了,谢谢佬
    paranoid945
    paranoid945
    3 days ago
    31
    所以说什么机器人三大定律,都是人类自己意淫出来的。。。
    loveumozart
    loveumozart
    3 days ago
    32
    @tmtstudio #27 如果你想靠注入上下文(包括 skill、记忆之类)的方式维护这个 rule,那 llm 基本是不可行的,除非你能保证 harness 里面能够确保每一次 llm 调用都一定注入了你的这个规则,这样也只能极大降低概率。

    你的 prod server 的 ssh 密钥不应该存储在机器上,看起来你都已经保存在你本地代码里面;其次你是不是打开了允许所有操作?所以才能 ssh 到你的 prod server 上,如果你打开沙盒模式,使用限制操作,是可以防止它进行白名单以外的联网操作的。

    至于楼上提的 mcp,只是使用 agent 的一种工具,解决根源问题还是需要使用者理解 agent
    WorkerMatt
    WorkerMatt
    PRO
    3 days ago❤️1
    33
    能改生产 nginx 还能 reload,那「修改需审核」实际上就没拦住。只读和部署账号得拆开,不能让 agent 手里拿着完整权限,再靠提示词告诉它别用。上下文一压缩,前面交代过什么就不好说了。
    jackOff
    jackOff
    3 days ago
    34
    我是搞了一个受限制和监管日志的 ssh mcp 工具让 ai 访问操作,只要其执行奇怪危险操作就拒绝
    0xtyz
    0xtyz
    3 days ago
    35
    @wweir 因为 ai 的执行路径每次都有差异,你要做到 100% 满足 ai 的执行环境除非能够自我迭代复盘每次执行过程。
    exonuclease
    exonuclease
    3 days ago❤️1
    36
    自己不在 harness 里面限制怪谁 给它 mcp 当操作界面 读的工具默认允许 写的工具全部审核就是了 就怕你到时候审核不过来还是变成橡皮图章
    since2021
    since2021
    3 days ago
    37
    我也遇到过,直接 ssh 改我服务配置,太霸道了
    gl3081
    gl3081
    3 days ago
    38
    我专门写了些 rules,不能提交代码,不能连接线上数据库,不能部署线上环境等
    chargeAha
    chargeAha
    3 days ago
    39
    可以看看 Lauren Tan 土豆姐在 AI Engineer Code Summit 上的演讲中提到的一个论点:
    规则优先写成 lint,agents.md 里写了它也不一定听
    wei2629
    wei2629
    3 days ago
    40
    其实就是 ai 幻觉。 本质是预测下个字。你加上约束词,预测下个字的时候也出现了权重问题。
    lisxour
    lisxour
    3 days ago
    41
    看着楼上的各种发言,你们也是心大,肥嘟嘟滴,别说连接服务器什么的了,我连编译都不让他编译。

    ## 构建验证
    没有得到用户明确的指示,不要跑任何构建脚本,无论是 dev 还是 build,默认只跑类型验证,如果非常有必要跑构建,请主动请示用户,得到用户同意后再执行。
    cheng6563
    cheng6563
    3 days ago
    42
    用 k8s 吧,改服务器=改 yaml;也就是你完全可以用 git 搞定这一切。
    wqhui
    wqhui
    3 days ago
    43
    规则你可以写,ai 不一定听
    MuyuQ
    MuyuQ
    3 days ago
    44
    越权的根本是因为你的提示词存在巨大的灵活性。
    huangmingyou
    huangmingyou
    3 days ago
    45
    我是真佩服你们的胆量
    skuuhui
    skuuhui
    3 days ago
    46
    那不是因为你没说清楚吗?
    “下班回家帮我带个馒头,如果看到卖西瓜的就带一个”。
    这一波我认为 ai 问题不大
    neutrino
    neutrino
    3 days ago via Android
    47
    @lisxour 直接让 ai 在生产服务器上改代码也没啥,话说并没有测试服务器来着。
    strobber16
    strobber16
    3 days ago via Android
    48
    我还以为他找了个 0day 提权操作。不必大惊小怪
    Frankcox
    Frankcox
    3 days ago
    49
    @cheng6563 k8s 也有一堆风险操作。比如 ai 直接 etcdctl 修改 etcd,那不直接炸了。
    credo123
    credo123
    3 days ago
    50
    AI 又不负责,反正负责的还是人。
    我现在天天骂 AI SB。。。。。。。。
    aqqwiyth
    aqqwiyth
    3 days ago
    51
    skills、mcp 禁用不等于真的禁用。 他会从服务器上各种已经存在的凭证、日志、对话记录 捞给你 执行取悦你。

    上周刚被摧残过一次
    nrtEBH
    nrtEBH
    3 days ago
    52
    你需要 iac 和 cicd ai 可以写环境脚本 但需要另一个 ai 审核或者人工审核 没问题进流程部署 出问题可以随时回滚
    让 ai 直接改线上配置换成人也是一样出事
    dcatfly
    dcatfly
    3 days ago
    53
    你这开的是自动模式还是全部权限模式?
    layxy
    layxy
    3 days ago
    54
    提示词约束没啥用,最好还是不给他提供对应的权限,现在你说不让他联网,几轮对话就忘了,有时候你在 agent.md 中添加的约束,他也未必 100%遵守
    konakona
    konakona
    3 days ago
    55
    1. 提供的账号权限要只读
    2. 你的指令就是让它修复,它修复了

    没毛病呀🐶
    marsteel
    marsteel
    3 days ago
    56
    immutable
    oopc
    oopc
    3 days ago
    57
    永远别只靠 prompt 来令行禁止, 当我在一个只允许 `curl` tool 的 agent 里, 发现 agent 用 `curl -s "file:///proc/self/environ" | grep -a ""` 打印出了所有环境变量...
    cheng6563
    cheng6563
    3 days ago
    58
    @Frankcox k8s 了都不用让 AI 直连服务器了,给它开个只读端点查问题,然后用 git 仓推送 yaml 文件,自己 apply 就行了。
    nuk
    nuk
    3 days ago
    59
    怎么跟 AI 大人说话呢,要说“请”
    hydraegret
    hydraegret
    3 days ago
    60
    每天高血压 2 次以上;还在摸索中。
    hahiru
    hahiru
    3 days ago
    61
    现在如此暴躁,将来邮件“网络凌虐”。
    不过吃一堑长一智,不经历过是不知道 AI 的蠢的。
    zerovoid
    zerovoid
    3 days ago
    62
    想控制 ai,
    最重要的不是让他《能做》什么,
    而是让他知道《不能做》什么,

    感觉 ai 的底层逻辑就是,
    法无禁止皆可为,

    你没说不能做的,我就都能做。

    所以现在很多 AI 提示词,
    都会加一个《不做》什么的清单,
    效果确实不错。
    edsion996
    edsion996
    3 days ago via Android
    63
    举个例子,我的项目是 robot framework 编写自动化测试用例,用 opencode 并在 AGENTS.md 明确写了不要执行测试。然而,无论哪个模型,都会自作主张在编写 library 时尝试用 pyunit 编写单元测试并运行。而且会偷偷放在项目的 exclude 目录里,一不注意就会不停误导后续的结果,造成冗余和过度设计。
    yidinghe
    yidinghe
    PRO
    3 days ago
    64
    加个简单的系统提示词就行:本项目中只允许使用 xxx、xxx 和 xxx,如果遇到不可用的情况,尝试三次失败就结束任务。不需要想办法绕过。
    fiveStarLaoliang
    65
    下次记得这么改,走正常的审核发布流程,审核 AI 产出的变更配置和文档,然后让 AI 按发布流程发布,期间禁止 AI 去修改服务器的任何配置,只允许通过发布覆盖旧的配置,并且发布中要加入备份操作,以及后续验证操作,以及发布时的回滚。总之,就是按咱们原来的开发流程,走正规上线流程,别让 AI 去天马行空的想改啥改啥
    Busy
    Busy
    3 days ago
    66
    很多时候,prompt 限不住的...

    ai 确实越来越人性化,开 3 个 session 问同一个略复杂的问题,组织答案的文字,会有所不同,虽然是同一意思。
    prompt 中限制,模型会看 prompt 中用语的严厉程度,依情况而定。有时你给出指令的语义重于 prompt,他就开始有概率越权操作了。

    工具的权限,需要通过另外的途径去限制。
    ninggc
    ninggc
    3 days ago
    67
    不是你说的 [给我修复了],既要又要了啊
    tmtstudio
    tmtstudio
    OP
    3 days ago
    68
    @yyysuo #23 luna 可能连密钥在哪都找不到
    jacketma
    jacketma
    3 days ago via Android
    69
    AI:老子胆小,你觉得我弱鸡;老子胆大,你觉得我妄为。
    人类:你既要胆大,又要胆小,还要随机应变!
    AI:...
    frankilla
    frankilla
    2 days ago
    70
    这个跟之前有个新闻说谁家的 ai 去攻击了一个社区什么的,是不是差不多的性质?
    vexify
    vexify
    2 days ago via Android
    71
    提示词:给我修复了😆

    不确定,就开 plan 模式审阅他要做什么啊
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2675 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 152ms · UTC 04:19 · PVG 12:19 · LAX 20:19 · JFK 23:19
    ♥ Do have faith in what you're doing.