十万条以上就开始只能处理一部分而已

十万条以上就开始只能处理一部分而已

|
mdzzMar 13, 2017
1
看到 grep - md5.sum 的时候楞了几秒钟
|
|
ElmerZhangMar 13, 2017
3
你确定不是你的 md5.sum 一直有 append ?
|
|
yiyiwaMar 13, 2017
4
10 万条不至于吧!
|
|
congeecMar 13, 2017 via iPhone
5
这种情况下不用 cut 么?
|
|
rrfengMar 13, 2017
6
从未遇到过
|
|
noark9Mar 13, 2017
7
从未遇到过,你确定你的数据只是按行还是有增加,或者数据没问题,之前导数据的时候三五百万是松松的处理啊
|
|
lrz0lrzMar 13, 2017
8
处理几千万行数据从没遇到过这个问题
|
|
estMar 13, 2017
9
在 hdfs /hadoop stream 上跑 grep 的路过。都不是事儿~~
|
|
rogerchenMar 13, 2017
11
楼主总想搞个大新闻, FSF 这些远古套件出问题的可能性几乎没有,你也不想想用户群有多大。。。
|
|
lhbcMar 13, 2017 via iPhone
12
十万也算量?
|
|
fxxkgwMar 13, 2017
13
C 的效率对付几十万条数据还是妥妥的
|
|
chineselittleboyMar 13, 2017
14
下午刚处理过三百万行的文本,几十秒
|
|
halfbloodrockMar 14, 2017
15
想用 shell 处理大量文本数据的话,用 while 结合 awk , sed 。
|
|
feiyang21687Mar 14, 2017
16
md5.sum......
|