目前用了 mongo 打算一天存一个集合，但是数据到了五千万左右的时候写入速度就很慢了，每秒几百条。
{
"_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
"time" : "2019-09-01 08:01:45.899",
"src_ip" : "59.1.1.1",
"port" : "64466",
"proto" : "TCP",
"in_bytes" : "60",
"out_bytes" : "0",
"in_packets" : "1",
"out_packets" : "0",
"flows" : "1",
"is_edu_net" : "1"
}
数据结构大概是这样，后面需要展示，就这样表格一条数据占一行，会按照 ip，端口，或者协议查询。
 |
oscerOct 17, 2019
1
pg?
|
 |
taotaodaddyOct 17, 2019 via Android
2
时序？
|
 |
3
hbase?
|
 |
atbilityOct 17, 2019
4
elasticsearch?
|
 |
l0wkeyOct 17, 2019
5
TSDB
|
 |
rrfengOct 17, 2019
6
应该是 cache 满了，合理调整一下应该可以的。
|
 |
qiayueOct 17, 2019
7
不用问，问就是时序数据库
|
 |
tt67wqOct 17, 2019
8
influxdb
|
 |
letitbesqzrOct 17, 2019
9
@atbility #4 elasticsearch 真的适合如此高的频率写入数据？我所了解要说写入效率，es 是常见的数据库中最慢的。
|
 |
hkitdogOct 17, 2019 via iPhone
10
Oracle
|
 |
ebingtelOct 17, 2019
11
@letitbesqzr 先写入 kafka 再写 ES
|
 |
yingsunwlOct 17, 2019
12
clickhouse
|
 |
rockyou12Oct 17, 2019
13
时序库吧，timescale，influxdb 这种，上面说 es 估计也行但性能会差些
|
 |
11ssssOct 17, 2019
14
TDengine
|
|
atbilityOct 17, 2019
15
@letitbesqzr es 挺快的啊，上次我整了 10 个亿的数据，9 台服务器，速度杠杠滴
|
 |
zxc111Oct 17, 2019
16
clickhouse+1
|
 |
wangxiaoaerOct 17, 2019
17
|
 |
PythondrOct 18, 2019 via Android
18
这种数据，明显时序数据库
|
 |
SamuelccOct 18, 2019 via Android
19
hbase
|
1
Select Language