mysql 数据量已经达到千万级别, 目前有订单表, 查询用 sum 函数统计非常慢(大概要几分钟),有没有特别的方法来做统计 或者说优化一波
|
1
olap?
|
|
2
分表 再加支持分布式中间件的,比如 Mycat
|
|
3
@nilai 有在生产中使用过吗? 性能怎么样, 我先去了解了解,谢了老哥。
|
|
4
splunk,请
|
|
5
|
|
CRVVApr 11, 2019
6
你的需求不够清楚
你要算哪些数据的 sum? 是全表的 sum 还是用 WHERE 筛选过的一部分的 sum? 如果是筛选过的,筛选过后有多少条数据? 如果筛选过后的数据量小,那么问题在于你的查询没有利用好索引。 你的查询有可能本身不可能被 MySQL 的索引优化,那么解决方案是上更高级的索引(比如 PostgreSQL, Elasticsearch ),或者上 OLAP。 如果筛选过后的数据量大或者没有筛选,那么这个问题用符合范式的关系型数据库不可解。 你可以选择上 OLAP。 也可以选择在某个地方加上汇总过的数据,这个取决于具体的需求。 |
|
LinxingApr 12, 2019 via iPhone
7
hive ?
|
|
cs8814336Apr 18, 2019
8
分治的思想,假如你要统计 10 天内的数据,你可以尝试每天跑脚本, 统计 1 天内数据,这样假如你统计 10 天只需要把 10 天内的统计数据相加就行了.
|