huangzhe8263
V2EX  ›  数据库

GitHub 解释近期频繁宕机原因: MySQL 不堪重负

  •  4
     
  •   huangzhe8263 · Mar 28, 2022 · 11323 views
    This topic created in 1684 days ago, the information mentioned may be changed or developed.

    是不是在某种程度上,服务不可用的大头还是落在数据库上?


    在过去的几周里,GitHub 经历了多次宕机事件,导致平台的服务降级,影响了许多用户的正常使用。GitHub 团队在解决问题的同时,近日也分享了这些事件的详细情况。

    据介绍,近期 GitHub 频繁宕机主要是其 mysql1 集群的资源争夺导致,这影响了 GitHub 在负载高峰期的大量服务和功能性能。虽然在过去几年 GitHub 已经进行了许多优化,例如增加集群以支持平台的增长、对主数据库进行分区等,但这不是一劳永逸的工作,直到现在他们仍在积极解决这个问题。


    官方博客链接:An update on recent service disruptions

    国内资讯: GitHub 解释近期频繁宕机原因:MySQL 不堪重负

    70 replies  •  2022-03-30 13:06:40 +08:00
    bthulu
    bthulu
    Mar 28, 2022
    1
    让阿里来
    magicdawn
    magicdawn
    Mar 28, 2022
    2
    让腾讯来
    Maboroshii
    Maboroshii
    Mar 28, 2022 via Android
    3
    让华为来
    geekershared
    geekershared
    Mar 28, 2022
    4
    让百度来
    moxuanyuan
    moxuanyuan
    Mar 28, 2022
    5
    让楼上来。。
    kidlj
    kidlj
    Mar 28, 2022❤️2
    6
    让 PingCAP 来
    kidlj
    kidlj
    Mar 28, 2022❤️1
    7
    不对,让微软来
    levon
    levon
    Mar 28, 2022❤️1
    8
    我感觉是,对大部分公司来说,性能瓶颈应该都在数据库上,但现在大部分开发都在搞各种分布式上面,被大公司带歪了,人家用户量是亿级的。
    BrettD
    BrettD
    Mar 28, 2022
    9
    @kidlj GitHub 就是微软的啊……
    2kCS5c0b0ITXE5k2
    2kCS5c0b0ITXE5k2
    Mar 28, 2022
    10
    @levon 搞分布式和数据库又不冲突...
    0o0O0o0O0o
    0o0O0o0O0o
    Mar 28, 2022 via iPhone❤️73
    11
    开 ssh ,让 @defunct9 上去看看(
    cxe2v
    cxe2v
    Mar 28, 2022
    12
    上 sql server
    cco
    cco
    Mar 28, 2022❤️2
    13
    谁联系下 github 官方,给我 ssh 权限,我上去把 mysql 卸载了就没这问题了。这解决方案值 1000W 吗?
    Mrzhs
    Mrzhs
    Mar 28, 2022
    14
    @kidlj _(:з」∠)_ github 已经被微软收购了
    rapperx2
    rapperx2
    Mar 28, 2022
    15
    给我开 ssh ,我上去瞧瞧
    adoal
    adoal
    Mar 28, 2022
    16
    让 12306 来
    moult
    moult
    Mar 28, 2022❤️35
    17
    @0o0O0o0O0o @rapperx2 @cco
    感谢诸位的毛遂自荐,我叫 Tree New Bee ,是 GitHub 的 DBA 人员。我让运维稍后给您开个堡垒机,麻烦协助看下问题。
    对了,因为 GitHub 有很多企业的隐私数据,为了客户的数据安全,您需要先支付 5000 元的保证金。我们在收到保证金之后,会立即发送堡垒机密码。
    qeqv
    qeqv
    Mar 28, 2022
    18
    负载高峰期关机,不就不会宕机了吗
    liangkang1436
    liangkang1436
    Mar 28, 2022 via Android❤️1
    19
    我怎么老感觉阿三掌权之后,微软的所有产品都出现了或多或少的问题,之前是 window ,现在是 GitHub ,是我的错觉吗?
    C02TobNClov1Dz56
    C02TobNClov1Dz56
    Mar 28, 2022
    20
    @qeqv 同理, 把汽车的启动电瓶摘掉就可以省油了(
    eijnix
    eijnix
    Mar 28, 2022
    21
    @0o0O0o0O0o 老哥 能麻烦科普一下这是什么梗么 这么多人点赞 我也想凑个热闹
    pengtdyd
    pengtdyd
    Mar 28, 2022
    23
    我觉的是中病毒了,请安装 360 安全卫士!!
    levon
    levon
    Mar 28, 2022
    24
    @emeab 问题是很多都没必要
    0o0O0o0O0o
    0o0O0o0O0o
    Mar 28, 2022 via iPhone
    25
    @eijnix 那是一位和善的老哥,遇到一些和服务器有关但问题总结得不够好或者很难三言两语解释清楚的求助帖子(我个人感觉是因为这样),他就会直接留言这句
    felixcode
    felixcode
    PRO
    Mar 28, 2022 via Android
    26
    先关机,把处理器统统换成 m1 ultra ,开机,搞定, 十年内不用再升级!
    sadfQED2
    sadfQED2
    Mar 28, 2022 via Android
    27
    都被巨硬收购了,mysql 不行那当然得迁移成 sql server 啊,以后再挂也能轻松甩锅🐶
    xingHI
    xingHI
    Mar 28, 2022
    28
    让 apple 来
    Xhack
    Xhack
    Mar 28, 2022
    29
    让 gitlab 来
    aptupdate
    aptupdate
    Mar 28, 2022 via iPhone
    30
    要不换 oracle 试试?
    liuidetmks
    liuidetmks
    Mar 28, 2022 via iPhone
    31
    github 不是应该用 sqlsever 吗
    nxcdJaNnmyF9O90X
    nxcdJaNnmyF9O90X
    Mar 28, 2022
    32
    让华为来
    fruitscandy
    fruitscandy
    Mar 28, 2022
    33
    有请 12306
    461da73c
    461da73c
    Mar 28, 2022
    34
    让我来
    jousca
    jousca
    Mar 28, 2022
    35
    @eijnix 他 @的那个是本站的运维人员。哈哈哈。
    Metre
    Metre
    Mar 28, 2022
    36
    让达梦来
    Jinnyu
    Jinnyu
    Mar 28, 2022❤️1
    37
    @adoal #16
    @fruitscandy #33
    12306 目前在用 Sybase15 + PG12
    roundgis
    roundgis
    Mar 28, 2022 via Android
    38
    @Jinnyu 12306 用 sybase 處理什麼業務?舊系統?
    Jinnyu
    Jinnyu
    Mar 28, 2022
    39
    @roundgis #38 所有核心业务 (苦笑
    售票 退票 改签 候补 保险
    而且是存储过程...
    roundgis
    roundgis
    Mar 28, 2022 via Android
    40
    @Jinnyu 網上找不到 12306 使用 postgres 的信息

    主要用在什麼的業務?
    sutra
    sutra
    Mar 28, 2022❤️1
    41
    「作为其中的一部分,他们正在将流量转移到其他数据库」,这里的「其他数据库」应该是 「 Microsoft SQL Server 」吧。
    h82258652
    h82258652
    Mar 28, 2022
    42
    让 stackoverflow 来
    ZE3kr
    ZE3kr
    Mar 28, 2022 via iPhone
    43
    让 gogs 来
    louchenabc
    louchenabc
    Mar 28, 2022❤️2
    44
    前阵子 Github 有一篇热门文章,说他们数据量那么大,但是并没有对数据库做水平拆分,而是按业务进行垂直拆分。

    Github 还开源了一个 MySQL 在线架构迁移工具 https://github.com/github/gh-ost ,这些早已表明 MySQL 成为了 Github 的瓶颈,他们花了大量的功夫在适应 MySQL 上,可能由于用户量和数据太大,架构上不敢做太大的改动,选择了保守,期望他们给出一个好的解决方案并分享给全世界。
    Jinnyu
    Jinnyu
    Mar 28, 2022
    45
    @roundgis #40
    旧业务在做 PG 改造
    所有新业务必须上 K8s + PG
    iseki
    iseki
    Mar 28, 2022
    46
    @Jinnyu 听说 12306 用的是 PG 的商业方案?
    roundgis
    roundgis
    Mar 28, 2022 via Android
    47
    @Jinnyu 感謝告知,12306 應該用達夢吧?
    adoal
    adoal
    Mar 29, 2022 via iPhone
    48
    @Jinnyu 没想到 12306 在力推 PG
    tunzao
    tunzao
    Mar 29, 2022
    49
    1. 没有慢 SQL 监控?
    2. 没有 Sharding ?
    ericls
    ericls
    Mar 29, 2022 via iPhone
    50
    MySQL 的确有很多不可预知的 behavior, 后来转 PostgreSQL 了
    mingl0280
    mingl0280
    Mar 29, 2022
    51
    @iseki 12306 据说是用的内存数据库,不知道是哪个产品。
    adoal
    adoal
    Mar 29, 2022 via iPhone
    52
    @mingl0280 gemfire
    wellsc
    wellsc
    Mar 29, 2022 via Android
    53
    @levon 好像懂了,好像又没懂
    Jinnyu
    Jinnyu
    Mar 29, 2022❤️1
    54
    @iseki #46
    不是商业方案 开源的

    @roundgis #47
    达梦不清楚, 好像有部分组在用

    @adoal #48
    组内之前搞过性能测试 PG 吊打 MySQL

    @mingl0280 #51
    用的 Gemfire 但是很烂 经常抗不住压力
    GeruzoniAnsasu
    GeruzoniAnsasu
    Mar 29, 2022
    55
    @0o0O0o0O0o 你没抢到一楼真太可惜了
    encro
    encro
    Mar 29, 2022
    56
    @Jinnyu

    PG 吊打 MySQL ,是指个别特种索引或者加了物化视图的吧。

    不过确实如果当下做程序,推荐用 PG ,因为 MySQL 在 OLAP 领域还没起步,而基本很多业务其实都会涉及 OLAP ,特别是 PG 增量物化视图如果在能 16 版本出来,那么 SQL SERVER ,Oracle 存在意义就少很多了。
    keenkiller
    keenkiller
    Mar 29, 2022
    57
    @encro 一般是 MySQL 迁移到 tidb ,平滑过渡
    frankkly
    frankkly
    Mar 29, 2022
    58
    @cco 至少 3 个亿🐶
    pkoukk
    pkoukk
    Mar 29, 2022
    59
    换 pg 吧,pg 确实强得多
    Feiex
    Feiex
    Mar 29, 2022
    60
    @Jinnyu gemfire 扛不住的压力,如果换 reids 可行吗
    前几年经常看到 pivotal 吹牛逼说在中国印度的铁路系统都用了 gemfire
    zhiyu1998
    zhiyu1998
    Mar 29, 2022
    61
    让我............我大阿里来!!
    bthulu
    bthulu
    Mar 29, 2022
    62
    @pkoukk 在中国印度的铁路系统, 中国啥时候把印度打下来了?
    Jinnyu
    Jinnyu
    Mar 29, 2022
    63
    @Feiex #60
    能不能扛得住我不清楚
    新架构设计中考虑过, 但是业务改造量太大, 以目前的工作量来说是不可接受的
    现阶段是改造存储数据库来的划算
    JensenQian
    JensenQian
    Mar 29, 2022
    64
    没事,GitHub 的爹微软有的是集群
    wangyzj
    wangyzj
    Mar 29, 2022
    65
    前几楼是真德秀
    encro
    encro
    Mar 30, 2022
    66
    @tairan2006

    tidb 只是解决了水平扩展的问题,没有解决 OLAP 问题。
    keenkiller
    keenkiller
    Mar 30, 2022❤️1
    67
    @encro tidb5.0 就有 mpp 架构了,现在是 HTAP
    encro
    encro
    Mar 30, 2022
    68
    @tairan2006

    感谢,试试看:

    TiSpark OLAP 分析引擎
    TiFlash 分布式列式存储引擎
    mmdsun
    mmdsun
    Mar 30, 2022 via iPhone
    69
    @liangkang1436 github 以前就总是炸好吧。systemstatus 没几天是全绿的
    mmdsun
    mmdsun
    Mar 30, 2022 via iPhone
    70
    估计 github 会换成 微软自家的 SQL SERVER 数据库
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   887 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 111ms · UTC 20:50 · PVG 04:50 · LAX 12:50 · JFK 15:50
    ♥ Do have faith in what you're doing.