比如,我要采集淘宝商品购买的用户id,同一个ip访问频率太多,会被封ip,会被限制,
那么 如果我有10个vps,我该如何让程序能协作呢,如何分配任务呢,我该补充哪方面的知识呢
请大家指点一二
那么 如果我有10个vps,我该如何让程序能协作呢,如何分配任务呢,我该补充哪方面的知识呢
请大家指点一二
|
1
gearman
|
|
2
@romotc 谢谢 我了解下
|
|
3
搞啥分布式,
每个vps上装个http或者socks5代理,挨个轮换代理不就行了 |
|
4
如楼上说法,http库支持proxy。
用简单的http代理比如tinyproxy安装到vps上。 |