学校让做项目，自己想做个关于电商商品价格浮动的项目，听说频繁抓取会被封 ip ，如果出现这种情况怎么解决
推荐书目
› 高性能网站建设进阶指南
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
This topic created in 3863 days ago, the information mentioned may be changed or developed.
 |
lxjsmdcApr 12, 2016
1
你就抓现成的那几个已经抓好数据的站就行了
|
 |
dong3580Apr 12, 2016
2
会.
做项目 ? 做成西贴那种 ? 如果是毕设,可以做出来,有个 demo 就行了,没必要一直抓,原理在这儿. |
 |
jedyuApr 12, 2016
3
第一步应该先去抓
|
 |
mahone3297Apr 12, 2016
4
@lxjsmdc 我擦，好思路。现成抓好数据的站，会公开数据？
|
 |
5
|
|
6
@dong3580 不是网页，是给安卓客户端当服务器的，不过差不多，淘宝我是不敢想了，觉得自己抓抓京东易迅什么的就可以，你说我抓那个西贴可行吗，会被封吗
|
 |
herozzmApr 12, 2016
7
会，所以做爬虫最大的问题是控制抓取频率加上较多代理 ip
|
|
dong3580Apr 12, 2016
8
|
 |
pubbyApr 12, 2016
9
淘宝天猫抓价格都还好，麻烦的是抓淘宝评论数据
|
|
lxjsmdcApr 12, 2016
10
|
 |
lianyueApr 12, 2016 via iPhone
11
@binbinyouliiii 写个 代理脚本就好了呗
|
 |
MysdesApr 12, 2016
12
网易的惠惠助手，双十一的时候都官方申明“因为众所周知的原因”关闭了历史价格
|
|
13
|
 |
NaveeApr 12, 2016
14
一般爬虫类应用都会有很多代理，请求的时候会使用不同的代理来保证每次都能抓取到数据
|
 |
FelldeadbirdApr 12, 2016
15
找 /买 IP 代理。
|
|
lianyueApr 12, 2016 via iPhone
16
@binbinyouliiii 在写个脚本抓互联网上的代理
|
Select Language