thomaswang
V2EX  ›  问与答

mysql 写的量比较大每日 20 亿次, 读写比是 1:20, 如何设计数据库的架构

  •  
  •   thomaswang · Jul 18, 2019 · 4973 views
    This topic created in 2678 days ago, the information mentioned may be changed or developed.
    22 replies  •  2019-07-19 09:24:32 +08:00
    glacer
    glacer
    Jul 18, 2019
    1
    换 MongoDB
    dapang1221
    dapang1221
    Jul 18, 2019
    2
    什么业务这么大量的写…读对实时性有要求吗…
    dongisking
    dongisking
    Jul 18, 2019 via Android
    3
    先关注一下,看楼下发言
    luckyrayyy
    luckyrayyy
    Jul 18, 2019
    4
    楼下不会...
    aaahhh123
    aaahhh123
    Jul 18, 2019
    5
    ma yixai
    stockCHEN
    stockCHEN
    Jul 18, 2019
    6
    物联网吗?
    zidian9
    zidian9
    Jul 18, 2019
    7
    分库分表写,每过一段时间把老的数据(不怎么用的)移到数据仓库里面去
    数据仓库里面读的时候加个缓存
    sujin190
    sujin190
    Jul 18, 2019
    8
    这种数据是不是不适合存数据库,这么大量,保存下来似乎也没多大用,索引太大查询不了,最好就是 kafaka 然后 flink 直接计算结果就是了,没必要保存吧,需要保存最好就纯文本文件存入 hdfs,需要统计啥的直接 hadoop 或者 flink 读出来直接计算更快吧

    mysql 在索引太大无法使用,需要直接读取磁盘全表扫描的时候似乎读取磁盘速度很慢,而纯文本顺序 io 读出来直接计算更快
    c0878
    c0878
    Jul 18, 2019
    9
    写入量大没问题 关键看这些数据后续要来做什么 然后根据数据消费的情况 选择不同的存储引擎 可能 mysql 不是最好的选择
    thomaswang
    thomaswang
    OP
    Jul 18, 2019
    10
    @stockCHEN 你的回到真的亮了, 去物联网公司面试, 面试官提的问题
    thomaswang
    thomaswang
    OP
    Jul 18, 2019
    11
    @dongisking 我不会,在请教, 咱们一起看大神的留言吧
    rockyou12
    rockyou12
    Jul 18, 2019
    12
    物联网用个屁的 mysql,上时时序数据库。估计是面试官故意给你埋雷
    zhchyu999
    zhchyu999
    Jul 18, 2019
    13
    可以试试分布式数据库,比如 Tidb 之类的
    xiaoyang7545
    xiaoyang7545
    Jul 18, 2019
    14
    这些数据要是丢 mysql 完全没有可读取性 ,不就是废数据了。
    crossoverJie
    crossoverJie
    Jul 18, 2019
    15
    楼上提到了 确实不能用 MySQL,我们现在就是这个物联网场景,写远远大于读,建议上 MongoDB.
    scalaer
    scalaer
    Jul 18, 2019
    16
    看你的描述我觉得 Hbase 挺适合的, 极端情况下,基于 LSM 树实现的 HBase 的写性能比 Mysql 高了一个数量级,读性能低了一个数量级。
    zhangjessey
    zhangjessey
    Jul 18, 2019
    17
    可以考虑上时序数据库。
    taotaodaddy
    taotaodaddy
    Jul 18, 2019 via Android
    18
    时序数据库+1
    agdhole
    agdhole
    Jul 18, 2019 via Android
    19
    时序数据库
    XiaoXiaoNiWa
    XiaoXiaoNiWa
    Jul 18, 2019 via Android
    20
    RocketMQ + MangoDB
    hzfyjgw
    hzfyjgw
    Jul 18, 2019 via Android
    21
    TDengine
    feiyunruyue
    feiyunruyue
    Jul 19, 2019
    22
    时序数据库,这么大量,不知道 prometheus 能不能行。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   950 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 72ms · UTC 20:02 · PVG 04:02 · LAX 12:02 · JFK 15:02
    ♥ Do have faith in what you're doing.