• 请不要在回答技术问题时复制粘贴 AI 生成的内容
MeteorCat
V2EX  ›  程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat · Aug 14, 2019 via Android · 8886 views
    This topic created in 2640 days ago, the information mentioned may be changed or developed.

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    Supplement 1  ·  Aug 14, 2019
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 replies  •  2019-08-15 08:42:49 +08:00
    365hddvd
    365hddvd
    Aug 14, 2019 via iPhone
    1
    心疼老铁(ఠ్ఠ ˓̭ ఠ్ఠ)也是刚刚醒
    chtan
    chtan
    Aug 14, 2019 via iPhone
    2
    签到
    hrong
    hrong
    Aug 14, 2019 via Android
    3
    かわいそう
    clockwerk
    clockwerk
    Aug 14, 2019 via iPhone
    4
    心疼老铁
    hawhaw
    hawhaw
    Aug 14, 2019 via Android
    5
    所以,内网服务器用 dns resolver 的高可用非常重要
    zachlhb
    zachlhb
    Aug 14, 2019 via Android
    6
    敢用百度的东西,厉害
    barrelsoil
    barrelsoil
    Aug 14, 2019 via Android
    7
    自建吧
    auin
    auin
    Aug 14, 2019
    8
    真是糟糕的一天
    aluckyfish
    aluckyfish
    Aug 14, 2019
    9
    前段时间也是半夜被叫起来 码农太悲惨了
    undefined8
    undefined8
    Aug 14, 2019
    10
    看样子没运维,没监控
    ebingtel
    ebingtel
    Aug 14, 2019
    11
    @365hddvd 醒了就刷 v2 666
    whywhywhy
    whywhywhy
    Aug 14, 2019
    12
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
    zjsxwc
    zjsxwc
    Aug 14, 2019
    13
    所以哪家的 dns 最稳推荐?
    defunct9
    defunct9
    Aug 14, 2019
    14
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
    wuzhizhan
    wuzhizhan
    Aug 14, 2019
    15
    记得刚毕业工作的时候,一周半夜起来一次
    arrow8899
    arrow8899
    Aug 14, 2019
    16
    自己搭一个 dnsmasq 备用吧
    liuxu
    liuxu
    Aug 14, 2019
    17
    上次我们服务器也炸过,导致 php 无法 curl 请求
    zhjie
    zhjie
    Aug 14, 2019❤️1
    18
    处理完问题后
    继续睡觉×
    上 v2 发帖√
    ShangAliyun
    ShangAliyun
    Aug 14, 2019
    19
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
    MeteorCat
    MeteorCat
    OP
    Aug 14, 2019 via Android
    20
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
    MeteorCat
    MeteorCat
    OP
    Aug 14, 2019 via Android
    21
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
    loryyang
    loryyang
    Aug 14, 2019
    22
    有段时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
    leloext
    leloext
    Aug 14, 2019
    23
    上次 114 炸了之后就不敢只用一个上游 dns 了。
    mytsing520
    mytsing520
    PRO
    Aug 14, 2019
    24
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
    tikazyq
    tikazyq
    Aug 14, 2019
    25
    自己搭建 DNS ?
    oIMOo
    oIMOo
    Aug 14, 2019
    26
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
    oasislee
    oasislee
    Aug 14, 2019
    27
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
    lazyfighter
    lazyfighter
    Aug 14, 2019
    28
    某个地区运营商故障见过吗,哈哈
    HansCathy
    HansCathy
    Aug 14, 2019
    29
    在互联网公司 4 点起来很正常。
    wolflai
    wolflai
    Aug 14, 2019
    30
    唉,互联网公司经常熬夜两三点,非常正常了
    azh7138m
    azh7138m
    Aug 14, 2019
    31
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
    laozhoubuluo
    laozhoubuluo
    Aug 14, 2019
    32
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
    vibbow
    vibbow
    Aug 14, 2019
    33
    之前 114 挂过,我就同时用 114 和 1248 了
    lazyfighter
    lazyfighter
    Aug 14, 2019
    34
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
    Caballarii
    Caballarii
    Aug 14, 2019
    35
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
    starsriver
    starsriver
    Aug 14, 2019 via Android
    36
    贵司都不在防火墙或者路由上多填几个 dns?
    ragnaroks
    ragnaroks
    Aug 15, 2019
    37
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5328 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 116ms · UTC 01:57 · PVG 09:57 · LAX 17:57 · JFK 20:57
    ♥ Do have faith in what you're doing.