kingofvir
V2EX  ›  2018

想做些爬虫任务练练手

  •  
  •   kingofvir · Jul 1, 2018 · 3844 views
    This topic created in 3052 days ago, the information mentioned may be changed or developed.

    本人使用 python,看了写爬虫 demo,但是没有需求没什么动力,所以在此看看广大朋友有什么具体需要的爬虫需求,可以联系我,你们提需求,我试试看,本着学习态度,不收费,若做得好大爷打赏就最好了,

    不过本人也是在业余时间才进行爬取,希望对时间限制没什么太紧迫的要求

    QQ:2675218719

    8 replies  •  2018-07-02 09:42:08 +08:00
    34C
    34C
    Jul 1, 2018 via iPhone
    1
    爬 V2EX 的 api 练手,
    单个 IP 地址每小时限 120 次访问,
    于是会练动态 IP 切换,
    然后觉得爬几十万帖子速度太慢,
    于是会练分布式爬虫,
    最终 get 了分布式+动态换 IP+IP 池管理的技能
    Mitt
    Mitt
    Jul 1, 2018❤️1
    2
    @34C 然后 V2EX 被爬挂, 最终楼主被站长封杀
    airyland
    airyland
    Jul 1, 2018
    3
    微信公众号 微博 今日头条 知乎 挑一个
    34C
    34C
    Jul 1, 2018
    4
    @Mitt 爬不挂的,爬过几次,爬完觉得没啥用又把数据库删了
    lsyAndroid
    lsyAndroid
    Jul 1, 2018 via Android
    5
    汽车之家
    silencefent
    silencefent
    Jul 1, 2018
    6
    爬下高考分数线,院校分数线,各地招生人数,录取概率呗
    闲着也是闲着
    golmic
    golmic
    Jul 1, 2018 via Android
    7
    提点有难度的吧:
    1.天猫优惠券信息
    2.今日头条 web 主站推荐列表
    3.微视 app 推荐接口
    4.抖音 app 推荐接口
    IMuMa3
    IMuMa3
    Jul 2, 2018
    8
    可以试下大众点评的美食 那反扒做的。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1568 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 13:52 · PVG 21:52 · LAX 05:52 · JFK 08:52
    ♥ Do have faith in what you're doing.