目前单位有一个业务,前期数据库选型,数据量巨大,单张表数据起步有 1.5 亿个,以前没怎么接深入接触过数据库,起初还说就用我们常用的 Mysql 什么的,由于我们数据量巨大,而且需要最后的表越少越好,发现用 Mysql 不太适合。后面看到 MongoDB 貌似符合要求,所以过来向各位老师评估一下是否可行,或者更加适合的数据库也欢迎各位老师提提建议哈,这个跪谢大家了~
目前单位有一个业务,前期数据库选型,数据量巨大,单张表数据起步有 1.5 亿个,以前没怎么接深入接触过数据库,起初还说就用我们常用的 Mysql 什么的,由于我们数据量巨大,而且需要最后的表越少越好,发现用 Mysql 不太适合。后面看到 MongoDB 貌似符合要求,所以过来向各位老师评估一下是否可行,或者更加适合的数据库也欢迎各位老师提提建议哈,这个跪谢大家了~
|
zhoudaiyuNov 21, 2019 via iPhone
1
Postgre ?
|
|
realpgNov 21, 2019
2
可选型的比较多
取决于你们的专业运维擅长啥…… 你选了一个你们运维 DBA 都不精通的 这种中等规模数据量的优化一窍不通是没用的 如果考虑商业数据库 选择更多 |
|
3
@realpg 好的,谢谢老哥建议哈,我们这边运维对 Mongo 还是比较熟悉的,考虑到以后这个数据量可能有个 10 倍的扩张,所以想提前规划考虑一个能满足这个数据量,查询起来速度也比较快的数据库。当然首先考虑的是一些比较常用大众点的,这样遇到问题查起来也比较方便。
|
|
realpgNov 21, 2019
4
|
|
realpgNov 21, 2019
5
哦不是 KV 的 习惯就发出去了 是 NOSQL 的
|
|
6
@zhoudaiyu 好的,谢谢老哥,我先研究下你说的这个
|
|
opengpsNov 21, 2019 via Android
7
这东西完全看业务,我早期版本 gps 轨迹用 SQL server 存了一个月数据 1. 5 亿无问题。不过考虑版权问题后来及时改了
|
|
tinybaby365Nov 21, 2019 via iPhone
8
业务没说清楚 OLAP,OLTP,还是兼顾?
|
|
9
@realpg 嗯嗯,对的,前面忘说了,业务上 KV 存储的也是更适合一些,所以我们暂定是用 MongoDB,如果后面实在找不到性能更优的就打算用这个了
|
|
heiheidewoNov 21, 2019
10
KV 存储的话,可以考虑 leveldb , 毕竟不用太占内存,当然土豪可以忽略
|
|
11
@heiheidewo 好的,谢谢老哥建议,看了一下 LevelDB 一般是多机主备的形式搭建集群,我们目前只有一台机器了,哭瞎⊙﹏⊙
|
|
fancy111Nov 21, 2019
12
花钱买 oracle 不好吗?
|
|
lzxz1234Nov 21, 2019
13
考虑下 TiDB,天生集群,而且兼容 MySQL
|
|
gemini767Nov 21, 2019 via iPhone
14
MySQL 完全 hold 住,分库分表现成组件那么多,后期迁移也方便。不过也要看 dba 熟悉了
|
|
murmurNov 21, 2019
15
单表 1.5 不手动分表可能只有 oracle 了,oracle 可以直接配分区
|
|
zjsxwcNov 21, 2019
16
mysql 可以的,公司全用 mariadb 的路过
|
|
17
@murmur 哈哈哈,可惜经费有限,而且现在机器也只有一台,不少朋友推荐了很多很优秀的分布式数据库,也没法去实施
|
|
javapythongoNov 21, 2019
18
postgre
|
|
sadfQED2Nov 21, 2019 via Android
19
我们 mysql 单表 16 亿数据,为啥不行呢
|
|
tailfNov 21, 2019
20
花钱买 Oracle 是一个不错的选择
|
|
srx1982Nov 21, 2019
21
我们单表 20 亿数据也是用的 mysql,表做了一下分区
|
|
zjsxwcNov 21, 2019
22
查了下确定楼主是来乱带节奏的吗
MySQL MyISAM 单表最大 64PB,InnoDB 单表最大 64TB mongoDB MMAPv1 单 Collection 最大 32TB PostgreSQL 单表最大 32TB Oracle 只要硬盘和操作系统允许就是无限 |
|
FenixVuNov 21, 2019
23
1.5 亿 mysql 完全没问题吧
|
|
hhyvs111Nov 21, 2019
24
分表就好了,单张表不要超过 1000 万
|
|
fuisNov 21, 2019
25
pg 和 mongo 随便选一个,我喜欢 pg
|
|
miemiekurisuNov 21, 2019
26
用什么数据库要看你想干嘛,根据业务和系统需要去选,你这什么前提都没有,只有个数据量,那随便挑哪个都可以。mysql 和 mongodb 都不是一个应用方向的东西
|
|
ccoNov 21, 2019
27
Hbase 其实也可以考虑,但是你没有说你们的应用场景。。 比如复杂查询关系?
|
|
arelessNov 21, 2019 via Android
28
取值的多,就用 hash 索引。模糊查询多就全文本索引。大于小于多,就 b 叉索引。没有 mysql 不行的,只怕你不会用。那个数据库啊分布式遍地开花的过往,是特殊年代产物~~~机器破,用的人多~~~大家都瞎折腾,搞出一套套不规范的东西。
|
|
tab16360Nov 21, 2019 via Android
29
es 不香吗
|
|
v2hhNov 21, 2019
30
业务场景,不说别人怎么给你合理建议
|
|
31
@miemiekurisu 前面确实没有说清楚哈,业务偏向于 OLTP,目前初步是使用 mongoDB
|