NeezerGu
V2EX  ›  Big Data

100G 左右数据, mysql 理论上可能会比大数据引擎快吗?

  •  
  •   NeezerGu · Oct 13, 2021 · 3524 views
    This topic created in 1849 days ago, the information mentioned may be changed or developed.

    跟朋友闲聊突然想到,因为是做数据分析的,对底层引擎就不太懂啦。

    比如,980pro 4 条组 raid 0 ( YouTube 上有视频,https://www.youtube.com/watch?v=OCGguruZyrw&t=413s 甚至直接 256G 内存,拿 120G 内存当硬盘(一时之间忘了这个名词)

    用 mysql 或者 clickhouse,对比 spark 、presto 等,会存在前者更快的可能吗?

    13 replies  •  2021-10-14 10:53:54 +08:00
    paopjian
    paopjian
    Oct 13, 2021
    1
    这要干的活都不是一个事吧
    NeezerGu
    NeezerGu
    OP
    Oct 13, 2021
    2
    @paopjian 的确不是一个。
    正常来讲大厂也不可能用关系型数据库来做数分。
    只是好奇如果是小厂,数据量不大的情况下,如果有人维护,mysql 等是否可能战胜大数据引擎
    clf
    clf
    Oct 13, 2021
    3
    mysql 是关系数据存储。

    clickhouse 是数据列存储,以列做统计分析。

    spark 是计算引擎(分析工具),数据存储是 HDFS ( Hadoop 模块)。
    misaka19000
    misaka19000
    Oct 13, 2021
    4
    快,指的是查询快,还是写入快,还是分析快,还是计算快
    NeezerGu
    NeezerGu
    OP
    Oct 13, 2021
    5
    @misaka19000 查询快,
    粗暴点假定不需要 join,100G 表进行 group by 的 sum 、avg 运算
    leon0318
    leon0318
    Oct 13, 2021 via iPhone
    6
    @NeezerGu 100g 对应多少行数据呢?
    NeezerGu
    NeezerGu
    OP
    Oct 13, 2021
    7
    @leonme 对这方面确实不够敏感 doge,我看了下一个现成的表,9 个字段(没有很长的文本字段),一天大概 300w 行,200M,要不就以这个为例?
    那大概就是 150000W 行
    billlee
    billlee
    Oct 13, 2021
    8
    clickhouse 和 mysql 不是一个类型的啊,clickhouse 针对查询建表,比 spark 快是没问题的吧?
    Jooooooooo
    Jooooooooo
    Oct 13, 2021
    9
    做什么事快?
    noqwerty
    noqwerty
    Oct 14, 2021
    10
    ClickHouse 和 Spark 还能勉强比一下,MySQL 跟这两个真不是干一个活的: https://h2oai.github.io/db-benchmark/
    noqwerty
    noqwerty
    Oct 14, 2021
    11
    这里有些 benchmark 的文章可以参考一下: https://github.com/ClickHouse/ClickHouse/issues/22398
    NeezerGu
    NeezerGu
    OP
    Oct 14, 2021
    12
    @noqwerty 感谢
    NeezerGu
    NeezerGu
    OP
    Oct 14, 2021
    13
    @Jooooooooo 就像上面说的。
    查询快,
    粗暴点假定不需要 join,100G 表进行 group by 的 sum 、avg 运算
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2779 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 12:25 · PVG 20:25 · LAX 04:25 · JFK 07:25
    ♥ Do have faith in what you're doing.