单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....
This topic created in 4136 days ago, the information mentioned may be changed or developed.
 |
laoyuanJul 19, 2015
1
看过一篇百度团队的文档，PHP 的真 multi curl
|
 |
chengzhoukunJul 19, 2015 via Android
2
Python和go很好吧，用协程库
|
 |
shierjiJul 19, 2015
3
表示最近要爬google。。。。还要刻意限制速度的说。
|
 |
wkdhf233Jul 19, 2015
4
多开几个socket，先把所有请求发完再去处理返回
|
 |
msg7086Jul 19, 2015
5
php轻松实现多进程。
|
 |
haiyang416Jul 19, 2015 via Android
6
Rolling cURL。
|
 |
zts1993Jul 19, 2015 via iPhone
7
python更好。
|
 |
mahone3297Jul 19, 2015
8
php可以多进程
也可以多线程 http://php.net/manual/en/intro.pthreads.php |
 |
orviceJul 19, 2015
9
多线程还是go写吧。。。
|
 |
ComdexJul 19, 2015
10
golang很妥当
|
Select Language