在写一个爬虫,用Queue配合thread来实现线程池,爬完一个地址,调用一次queue.task_done()
但在爬的过程中,有可能出一些Error,比如TimeOutError什么的,这样的话线程就挂了,永远也不会返回,也就调用不了queue.task_done(),最后就卡住了
请问这种情况该如何处理?
我想的是重写个queue.join(),在其中判断queue是否为空,如果是空的,就说明已经都爬完了,然后就退出,有没有更好的解决方法?
但在爬的过程中,有可能出一些Error,比如TimeOutError什么的,这样的话线程就挂了,永远也不会返回,也就调用不了queue.task_done(),最后就卡住了
请问这种情况该如何处理?
我想的是重写个queue.join(),在其中判断queue是否为空,如果是空的,就说明已经都爬完了,然后就退出,有没有更好的解决方法?