fdsfsdfsdf3334
V2EX  ›  问与答

python 如何搭建分布式爬虫呀

  •  
  •   fdsfsdfsdf3334 · May 15, 2014 · 4917 views
    This topic created in 4572 days ago, the information mentioned may be changed or developed.
    单机爬虫我已经会弄了
    但是分布式不会弄
    数据库是postgresql
    在我想象中,分布式爬虫是这样的:
    一个控制中心,控制所有爬虫,给他们分配任务,并得到爬虫返回的结果

    我的疑问是,
    问题1: 怎么实现,控制中心给每个爬虫比较平均的分配任务,用什么框架 什么算法 来实现?
    问题2: 比如我有60个爬虫,他们怎么和控制中心通信 有什么框架 或者算法来实现吗
    3 replies  •  2014-05-21 12:41:16 +08:00
    Altman
    Altman
    May 15, 2014❤️1
    2
    http://scrapy.org/ 用这个吧
    fdsfsdfsdf3334
    fdsfsdfsdf3334
    OP
    May 21, 2014
    3
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4149 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 03:51 · PVG 11:51 · LAX 19:51 · JFK 22:51
    ♥ Do have faith in what you're doing.