网断了爬虫还在运行

This topic created in 4006 days ago, the information mentioned may be changed or developed.

听说程序员晚睡，谁能跟我解释一下网都断了，为什么还在爬取数据，而不是报错，这是什么原因

4 replies • 2015-11-16 09:36:15 +08:00

Victor215

Nov 16, 2015

贴出来 code 和 log 让我们看看……

owlsec

Nov 16, 2015

code&&log

owlsec

Nov 16, 2015

@owlsec 多打了个&（逃。。。

zhexue69

Nov 16, 2015

有可能上次采集本地有 cache ，爬虫默认策略先从本地 cache 读，就这样。