用什么数据库或系统或？
请教
This topic created in 3151 days ago, the information mentioned may be changed or developed.
 |
1
可以认为是 1000 万个 json，但是并不需要查询内容
可以接受 KV 感觉的读取，每个文件可以有 uuid |
 |
2
加 30G 内存
|
2 |
msg7086Mar 22, 2018
4
NVMe SSD + Reiser4 ？
|
 |
golmicMar 22, 2018 via Android
5
不懂帮顶。希望知道答案
|
 |
murmurMar 22, 2018
6
30g 随便买个 intel 的高速 ssd 就可以了啊
|
 |
AugMar 22, 2018 via Android
7
分布式？
|
 |
paranoiaguMar 22, 2018 via Android
8
这么多文件，参考 ccache 的存储方式。
|
 |
XSugarMar 22, 2018 via iPhone
9
文件按文件名划分区块？索引会不会好些
|
 |
vwhenxMar 22, 2018
10
搞个 64G 内存，存内存里面
|
 |
mhycyMar 22, 2018
11
入库，瓶颈在文件系统
|
 |
shakoonMar 22, 2018
12
上世纪末本世纪初这样的数据库存储方式在大型机里可是主流的呢，好多银行在用，VSAM 了解一下 →_→
|
 |
MutooMar 22, 2018
13
taobao 当初为了实现高性能小文件的读取，自己搞了一套 tfs，后来还做成分布式的。你可以了解一下
https://github.com/alibaba/tfs |
 |
tigiyjMar 22, 2018
14
最近正好我这类问题同问,我是 4000 万文件,将近 500g,
|
|
tigiyjMar 22, 2018
15
最近正好遇到这类问题同问,我是 4000 万文件,将近 500g,
|
 |
jasontseMar 22, 2018 via iPad
16
加内存 buffer 或者 Optane
|
|
17
如果把所有文件都对齐到一个统一大小，算是拿空间换时间，不知道会不会好一点？
换文件系统这件事儿实在是，并不容易…… |
 |
yqylovyMar 22, 2018
18
可以考虑 rocksdb
|
 |
sunny352787Mar 22, 2018
19
我觉得还是扔库里先试试，常用的 redis、mongoDB，甚至 mysql 的读取性能其实应付一般的需求都可以，扔进去测试一下看看先，这么问没有统一答案的，而且随机读取可能没你想象的那么慢
|
|
20
|
 |
taobibiMar 22, 2018
21
SSD 组 RAID10，这样读取没问题，但是响应时间不太好说。
|
 |
natforumMar 22, 2018
22
借楼问下 1300 多个文件 100g，怎么搞，原来想过 hadoop+hdfs，不知道可行性
|
 |
macfeeMar 22, 2018
23
tfs
|
 |
zts1993Mar 22, 2018
24
kv 推荐 rocksdb - 具体到实现可以看看 pika
|
 |
leekafaiMar 23, 2018
27
加内存，全部放到内存里面，要读就从内存去读，这样是最快的。
|
Select Language