Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
oblivion
V2EX  ›  程序员

亲手造成的运维事故：在 Live CD 环境下部署并运行了 8 个月

  oblivion · Sep 18, 2023 · 40899 views
This topic created in 1143 days ago, the information mentioned may be changed or developed.
前情提要：今年春节时去部署了一套内部系统，访问量不大，加上临近春节协调资源难，就先单机部署了，
对方提供的是 H3C 的物理机，准备安装 Ubuntu 系统，对运维要求带桌面安装，
中途被电话打断，回到机器旁边看到已经在 Ubuntu 桌面了以为对方运维帮装好了，
于是直接部署好了我们的系统，测试没问题就离开了，后面也一直相安无事，没出过什么问题。

直到昨天晚上组里同事去给他们更新部署，由于各种巧合提示磁盘空间不足，于是各种操作后给重启了机器，
发现.....进 Live CD 桌面，目录是空的，重启弹出光盘，提示找不到启动磁盘，
通宵一夜后就在刚刚给我打来了电话，我：？？？？
各种记忆恢复术后想起来，当时 Ubuntu 压根就没装进硬盘啊？

由于是单机部署，暂时没想到能恢复数据的方法...
  • Ubuntu
  • 部署
  • 运维
  • 桌面
    176 replies  •  2024-07-07 15:30:54 +08:00
    1  2  
    ❮ ❯
    LokiSharp
    LokiSharp
    Sep 18, 2023 via iPhone❤️8
    1
    找对方运维背锅吧
    lrh3321
    lrh3321
    Sep 18, 2023
    2
    没有备份的数据都可以认为是不重要的，这锅对方运维至少有一半是跑不了的。
    lloovve
    lloovve
    Sep 18, 2023 via iPhone❤️2
    3
    正常人不会重启就备份数据吧？这个问题在于楼主，话说 livecd 应该一眼就能看出来啊，桌面有个安装图标
    dcsuibian
    dcsuibian
    Sep 18, 2023
    4
    牛逼
    QingXuJiaZhi
    QingXuJiaZhi
    Sep 18, 2023❤️2
    5
    我还是认为对方运维（甚至更高的领导）责任重大，重要的数据至少每 24 小时备份一次，看情况保留 3 至 10 个副本是“安全”级别的要求。
    wangxiaoaer
    wangxiaoaer
    Sep 18, 2023 via iPhone❤️6
    6
    两个大聪明。
    0xsui
    0xsui
    Sep 18, 2023
    7
    数据肯定恢复不了啊，都是跑在缓存和内容里面的，掉电清空了，能找回就见鬼了
    kingfalse
    kingfalse
    Sep 18, 2023 via Android❤️71
    8
    翻译翻译：win PE 里玩了 8 个月游戏。6666
    davidyin
    davidyin
    Sep 18, 2023 via Android
    9
    還以為服務器都是沒有桌面的。
    Routeros
    Routeros
    Sep 18, 2023
    10
    linux 真稳！
    wonderfulcxm
    wonderfulcxm
    Sep 18, 2023 via iPhone❤️15
    11
    本日最佳笑话
    k9982874
    k9982874
    Sep 18, 2023 via Android
    12
    两个运维都不做检查吗？
    msg7086
    msg7086
    Sep 18, 2023
    13
    没事，你就当硬盘坏了。
    msg7086
    msg7086
    Sep 18, 2023❤️1
    14
    @lloovve 正常的运维会每天（最差最差也是每月）自动化备份数据，优秀的运维会找方案做实时备份数据并制定 3-2-1 备份计划，极其优秀的运维还会每隔几个月做一次灾备演练。
    wuzhewuyou
    wuzhewuyou
    Sep 18, 2023❤️2
    15
    666

    话说提示磁盘空间不足就没 df -h 看下磁盘空间啊
    des
    des
    Sep 18, 2023 via iPhone
    16
    两个大聪明，话说提示磁盘不足为什么需要重启？
    roundgis
    roundgis
    Sep 18, 2023 via Android
    17
    8 個月不備份說明也不是什麼重要的東西
    devopsdogdog
    devopsdogdog
    Sep 18, 2023❤️3
    18
    由于各种巧合提示磁盘空间不足，于是各种操作后给重启了机器
    真的会运维吗？ 随便一个 df 之类的都能发现吧。
    ivslyyy
    ivslyyy
    Sep 18, 2023❤️1
    19
    @kingfalse 单机本地存档游戏
    Tink
    Tink
    Sep 18, 2023
    20
    666666
    yfixx
    yfixx
    Sep 18, 2023 via Android
    21
    数据应该不重要吧
    6IbA2bj5ip3tK49j
    6IbA2bj5ip3tK49j
    Sep 18, 2023 via iPhone
    22
    搬小板凳看戏，太乐了。
    formant
    formant
    Sep 18, 2023❤️10
    23
    有卧龙的地方，必有凤雏
    paopjian
    paopjian
    Sep 18, 2023❤️1
    24
    卧龙凤雏, 一言不合重启机器
    maemolee
    maemolee
    Sep 18, 2023❤️14
    25
    经典的：重启逝世
    salmon5
    salmon5
    Sep 18, 2023
    26
    锅 5:5 开
    Masoud2023
    Masoud2023
    Sep 18, 2023
    27
    瞎猫碰到死耗子
    zhumengyang
    zhumengyang
    Sep 18, 2023
    28
    卧龙三米之内必有凤雏
    labubu
    labubu
    Sep 18, 2023
    29
    牛逼
    crayygy
    crayygy
    Sep 18, 2023
    30
    有望成为近期最佳

    不过桌面上那么大一个 Install Ubuntu 一直没人看到么...
    selfi
    selfi
    Sep 18, 2023
    31
    卧龙凤雏.jpg
    collery
    collery
    Sep 18, 2023
    32
    重启不是正常操作么 嘿嘿嘿
    wangybsyuct
    wangybsyuct
    Sep 18, 2023
    33
    1 、桌面上有个 install Ubuntu 的图标。
    2 、/ monunt 点只有 2G ，文件系统名叫/cow,分区非常多，比正常的多太多了
    3 、没有编译环境、什么环境都没有。运营的环境至少安装个 gcc 吧。
    这些都是异常情况。
    TORYOI
    TORYOI
    Sep 18, 2023
    34
    牛逼
    Felldeadbird
    Felldeadbird
    Sep 18, 2023
    35
    1. 对方运维主要责任。机器安装系统给个 live cd 环境？
    2. 己方没有做好异地备份，次责。
    3. 谨慎重启操作系统，系统运行久了，日常部署多了，没做部署日志的话。一旦重启容易遗忘一些重要配置。
    darksword21
    darksword21
    Sep 18, 2023
    36
    这竟然还能跑 8 个月？
    goodryb
    goodryb
    Sep 18, 2023❤️2
    37
    live CD：从没想过有一点我还能上生产跑业务，满足了
    wonderfulcxm
    wonderfulcxm
    Sep 18, 2023 via iPhone
    38
    好笑归好笑，不过我查了一下，有些 live cd 的确可以把数据持久化的
    defunct9
    defunct9
    Sep 18, 2023❤️1
    39
    高，实在是高！
    DOOMS
    DOOMS
    Sep 18, 2023
    40
    live CD 跑起来了
    EEEEx
    EEEEx
    Sep 18, 2023
    41
    反正主锅不是你
    chenliangngng
    chenliangngng
    Sep 18, 2023
    42
    8 个月，这要寄啊
    Sokia
    Sokia
    Sep 18, 2023
    43
    过于逆天了 发给运维同事了
    noErr
    noErr
    Sep 18, 2023
    44
    @wonderfulcxm 看起来已经重启啦，，
    itechify
    itechify
    Sep 18, 2023 via Android❤️1
    45
    Linux 真稳😆
    Jreen
    Jreen
    Sep 18, 2023
    46
    这个经历真够离谱啊……
    zhangyq008
    zhangyq008
    Sep 18, 2023
    47
    看你们的甩锅技术了。。。
    qiyilai
    qiyilai
    Sep 18, 2023
    48
    成功缓解了周一上班的不适
    alsas
    alsas
    Sep 18, 2023
    49
    卧龙凤雏
    yolee599
    yolee599
    Sep 18, 2023
    50
    Live CD 运行 8 个月不挂也是真的牛批！
    excitedXXX
    excitedXXX
    Sep 18, 2023❤️3
    51
    live CD 遗言：这辈子值了。
    oblivion
    oblivion
    OP
    Sep 18, 2023
    52
    @lrh3321 #2 @roundgis #17 @yfixx #21 某种意义上来说...数据确实不算重要，年后就忘了这件事了，甚至早上还想了几分钟什么时候有这个系统了

    @cmdOptionKana #5 @msg7086 #14 正常我们是做了备份策略的，只不过对方在内网用，没公网，临近春节找不到人开个 minio/ftp/nfs 之类的服务给我们做备份用，年后这事也忘记了，一直没出过问题

    @davidyin #9 是对方运维强烈要求带桌面，正常我们也就 cli 部署了

    @Routeros #10 是啊，真稳，Live CD 跑那么久都没出问题

    @wuzhewuyou #15 @des #16 @devopsdogdog #18 组里另一个同事昨天晚上去搞的，他发现磁盘没分区没挂载，也没想到居然是在 Live CD ，手动分区挂载准备迁移数据发现挂不上，就直接给重启了

    @lloovve #3 @k9982874 #12 @crayygy #30 @wangxiaoaer #33 @darksword21 #36 @goodryb #37 当时临近春节，对方各种催他们想早点下班，第一次在物理机装带桌面的部署，我也没在意桌面的 Install Ubuntu 图标，关键是呢，一切都太顺利了，内网连接正常，usb 共享了 4G 网络进去，也正常上网，apt 更新，装各种依赖，dotnet restore ，npm install ，docker run ，全程一次性完成没出问题，万万没想到这是在 Live CD ，本想春节后加个副本和协调个备份服务的，这事给忘记了
    msg7086
    msg7086
    Sep 18, 2023❤️1
    53
    @oblivion #51 apt 更新完竟然没重启这是我没想到的。
    一般至少要重启一次，测试一下 docker 在重启后有没有自动起来吧。
    liuhongbind
    liuhongbind
    Sep 18, 2023
    54
    这能运行 8 个月，也是 6
    badbye
    badbye
    Sep 18, 2023❤️1
    55
    今天的好心情来源于此
    Raint571
    Raint571
    Sep 18, 2023❤️1
    56
    忍不住大笑了起来
    ysc3839
    ysc3839
    Sep 18, 2023 via Android
    57
    楼主能否透露一下后续情况吗？是否因此受到处罚啥的？
    idblife
    idblife
    Sep 18, 2023
    58
    忍不住笑了。。。
    可以列入奇葩故障排行榜
    defunct9
    defunct9
    Sep 18, 2023
    59
    必然还是你的锅，Live 系统 df 一把一下就能看出来。
    Basstorm
    Basstorm
    Sep 18, 2023
    60
    真的牛逼，整笑了
    rocksolid
    rocksolid
    Sep 18, 2023
    61
    客户想着咱尾款付了呀，你给我弄个不定时炸弹
    mark2025
    mark2025
    Sep 18, 2023
    62
    装完系统，我一般会重启两次服务器～
    mark2025
    mark2025
    Sep 18, 2023
    63
    “组里另一个同事昨天晚上去搞的，他发现磁盘没分区没挂载，也没想到居然是在 Live CD ，手动分区挂载准备迁移数据发现挂不上，就直接给重启了”

    可以抓住这点：运行没问题，重启有责任 哈哈
    duke807
    duke807
    Sep 18, 2023 via Android
    64
    自爆卡车
    Mithril
    Mithril
    Sep 18, 2023❤️6
    65
    你这个贴子，和首页那个 2000 块要破解微软邮箱验证码方案的，可以承包我这一周的笑点。。。
    NessajCN
    NessajCN
    Sep 18, 2023
    66
    「哪里能随便重启生产环境的啊！你看被你搞崩了吧！」
    甩锅完毕
    Eytoyes
    Eytoyes
    Sep 18, 2023
    67
    就是赛博华佗来了也是于事无补，除了 卧槽 之外想不出别的词了
    guanzhangzhang
    guanzhangzhang
    Sep 18, 2023
    68
    ubuntu 的 live cd 我记得桌面有个 install 的图标的👀
    JZ8ZW193q6W9Awgy
    JZ8ZW193q6W9Awgy
    Sep 18, 2023
    69
    @oblivion #52 真的佩服你，你是咋这么细心一个一个的回复这么多人的 ？上上下下的找好麻烦啊。
    uiosun
    uiosun
    Sep 18, 2023
    70
    @lloovve 至少对半开，不可能全怪楼主

    ——如果贵司根本不存在"数据备份"的概念，主打的就是一个“不死万万年，人死鸟朝天”，那也是相当硬核的。
    twofox
    twofox
    Sep 18, 2023
    71
    笑死，绝了
    smallYear
    smallYear
    Sep 18, 2023
    72
    一般人还真想不到部署的应用能跑在 live cd 下
    Ally
    Ally
    Sep 18, 2023
    73
    太强了，live cd 环境竟然这么稳，能跑 8 个月
    kenvix
    kenvix
    Sep 18, 2023
    74
    对方运维背大锅，让装系统装哪去了？
    wangkun025
    wangkun025
    Sep 18, 2023 via Android
    75
    我不信
    wudi77
    wudi77
    Sep 18, 2023
    76
    今日最佳帖。
    8Bobo8
    8Bobo8
    Sep 18, 2023 via Android
    77
    我还是感觉这个 Live CD 太强了，整整八个月。。
    lscho
    lscho
    Sep 18, 2023 via iPhone
    78
    过于离谱。。。。我做梦都想不到这样的场景
    ucando
    ucando
    Sep 18, 2023
    79
    这个 docker run 也挺魔性, 竟然不用挂载磁盘, 说明确实没太多数据需要永久保存的
    docx
    docx
    Sep 18, 2023 via iPhone
    80
    同情，看看后面怎么处理吧
    wondty
    wondty
    Sep 18, 2023 via Android
    81
    强，这没出事的话，磁盘够的话，是不是还能运行个一年🐶
    JoeoooLAI
    JoeoooLAI
    Sep 18, 2023
    82
    。。。这个也太。。。。
    oblivion
    oblivion
    OP
    Sep 18, 2023❤️1
    83
    @LokiSharp #1 @cmdOptionKana #5 @msg7086 #14 @yfixx #21 @Felldeadbird #35 @zhangyq008 #47 @ysc3839 #57 @defunct9 #59 @rocksolid #61 @mark2025 #62 @NessajCN #66 @kenvix #74

    更新最新情况：

    关于甩锅情况：早上接到电话就已经先按 @NessajCN #66 锅先甩给同事了（开个玩笑），已经重新装好系统部署好在用了，
    关于背锅情况：对方运维也忘记具体情况了，暂时没人背锅（对方计划甩锅 SSD 故障），暂时也不需要背锅，
    关于系统情况：这一套是几家运营商都在用的非关键系统，本次出问题的是其中一家运营商的某地某公司，主要是用于管理外包工单和调用接口发短信通知，通讯录，改派，通过其他系统接口关联资源之类的功能，历史数据用途不大，当天用完数据就没什么用了，
    关于数据情况：本质上是 Excel 导入导出管理系统，网管电脑也没删下载目录，要恢复数据的话通宵几天还是能恢复的，
    关于尾款情况：对方一次性全付，没尾款
    关于想不通的地方：为什么啊为什么啊，为什么能运行 8 个月都没出问题，就普通办公区临时机柜，没有 UPS ，没多路市电，没挂硬盘，还能稳定运行这么久
    ayase252
    ayase252
    Sep 18, 2023 via iPhone❤️1
    84
    调机上正线（
    oblivion
    oblivion
    OP
    Sep 18, 2023
    85
    @ucando #79 是有数据库和 redis 的，想不通磁盘满了为什么还能正常工作
    @docx #80 沟通好了，非关键系统没什么需要处理的，对方运维讲实在不行甩锅 SSD 故障
    @wondering #81 可能磁盘早满了吧，昨天是需要加个功能更新部署，不去动说不定明年都没发现
    flyqie
    flyqie
    Sep 18, 2023
    86
    什么是牛逼，这就是牛逼。

    话说运维强烈要求带桌面是什么操作。。
    IvanLi127
    IvanLi127
    Sep 18, 2023 via Android
    87
    部署完项目居然没重启一次试试服务能不能自启🤣
    果然是能跑就别动，动一下都可能会以意想不到的方式垮掉
    ysc3839
    ysc3839
    Sep 18, 2023 via Android❤️1
    88
    @oblivion LiveCD 应该是 overlayfs 吧，叠加层估计在内存里，所以内存足够大的话是很稳定的
    ysc3839
    ysc3839
    Sep 18, 2023 via Android
    89
    @oblivion 如果你想问为什么能长期不重启，我家里的路由器也可以呀
    guo4224
    guo4224
    Sep 18, 2023
    90
    @LokiSharp 甩锅才是最重要的
    maskerTUI
    maskerTUI
    Sep 18, 2023
    91
    过于传奇
    8675bc86
    8675bc86
    Sep 18, 2023
    92
    一群神人……
    anubis482
    anubis482
    Sep 18, 2023❤️1
    93
    @ayase252 何止调机上正线，简直 tm 是调机跑图定长交路
    weeei
    weeei
    Sep 18, 2023
    94
    「运维要求带桌面安装」，就这一点，运维就得背锅。
    ZH9c418
    ZH9c418
    Sep 18, 2023
    95
    就这么跑了八个月简直是人间奇迹
    zm8m93Q1e5otOC69
    zm8m93Q1e5otOC69
    Sep 18, 2023
    96
    Linux 真稳定啊
    zhlxsh
    zhlxsh
    Sep 18, 2023 via iPhone❤️1
    97
    @ysc3839 #88 而且内存带 ecc 小问题能自己纠错。去掉了硬盘故障率更低了。系统也确实稳定。业务量又不是很大，造就了传奇。唯一的缺点就是数据没了，反正不重要😂
    lc4t
    lc4t
    Sep 18, 2023
    98
    今日最佳！！！
    roundgis
    roundgis
    Sep 18, 2023 via Android
    99
    @oblivion 這是 ubuntu 的活廣告 不錯
    encro
    encro
    Sep 18, 2023
    100
    啊，你自己愿意背锅，，，怎知道 cd 是什么是否放入的呢。
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3441 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 162ms · UTC 05:15 · PVG 13:15 · LAX 21:15 · JFK 00:15
    ♥ Do have faith in what you're doing.