 |
noe132Feb 7, 2018
1
超大文件不适合 JSON 存储。。。。
如果是一个大数组，可以想办法优化成 {...} {...} {...} 的 JSON line 格式去以行去读。或者如果每个对象占用行固定也可以以固定行数去读。。 否则你得把 4G 的文件整体解析到内存里才行。 |
 |
bazingaterryFeb 7, 2018 via iPhone
2
已知格式可以手寫 json parser，結合業務需求一點一點讀
|
 |
wellscFeb 7, 2018
3
存到 mongo 里试试
|
 |
tworFeb 7, 2018
4
一行一行的读，解析后，扔到数据库，或者保存成其他格式？
|
 |
fengyjFeb 7, 2018
5
4G 的 Json.
0.0!!! |
 |
MeteorCatFeb 7, 2018 via Android
6
吓尿了 4G 的数据，解析起来内存应该爆炸了
|
 |
LxxyxFeb 7, 2018 via Android
7
用 Node 处理过 3g 的 json，直接 load，v8 扛不住，后面用的是 stream 的方式，一点一点解析。（供参考）
|
 |
neocanableFeb 7, 2018
8
cat yourfile.json | grep -v "{" | grep -v "}," > new_file
新的文件格式就是： 'id': 'xxxxx' 'q' : 'xxxxx' 'a' : 'xxxxx' 'id': 'xxxxx' 'q' : 'xxxxx' 'a' : 'xxxxx' 'id': 'xxxxx' 'q' : 'xxxxx' 'a' : 'xxxxx' 然后一行一行的读吧，很简单 |
 |
xiaozizayangFeb 7, 2018 via Android
9
pandas 分段读取 或者 spark 吧
|
 |
ulalaFeb 7, 2018 via iPad
10
曾经有类似的需求，一个好几 g 的文件，每一行一个 json 对象。写了个 C 程序一行行读入，然后抛到队列里并发用 rapidjson 去解析。速度还是挺快的。
|
 |
zc666Feb 8, 2018 via iPad
11
可以了解下 jq
|
 |
binuxFeb 8, 2018
12
streaming JSON parser python
|
 |
KaelSunstriderFeb 8, 2018
13
一行一行 yield 出来，处理一行就继续 yield 下一行。或则使用 ubuntu 下的行切割命令分成小文件再处理
|
 |
cout2013mrFeb 8, 2018
14
要是数组还好，可以一行行来读文件，你要是个整个大对象，key 还没有命名规则的话，真想不到什么好方法。。
|
 |
15
谢谢大家了,倒腾来倒腾去发现 json 确实不合适储存大文件,改用 csv 了
|
 |
xwhxbgFeb 8, 2018
16
readline，我用 js 读过 5 个多 G 的文件
|
Select Language