Home Sign Up Sign In
GuDream8
V2EX  ›  问与答

天生支持增量更新的爬虫有哪些？

  •   
  •   GuDream8 · Aug 25, 2018 via Android · 2671 views
    This topic created in 2998 days ago, the information mentioned may be changed or developed.
    不局限于语言
    Supplement 1  ·  Aug 25, 2018
    更准确的表述应该为 "天生支持增量更新的爬虫框架有哪些？"
  • 爬虫
  • 增量
  • 局限
  • 天生
    5 replies  •  2018-08-25 12:00:24 +08:00
    jko123
    jko123
    Aug 25, 2018 via Android❤️1
    1
    我想知道天生赚钱的体质是什么，不局限于我爹是谁
    loading
    loading
    Aug 25, 2018 via iPhone
    2
    幽灵蛛不知行不行。
    qsnow6
    qsnow6
    Aug 25, 2018
    3
    SCRAPY
    helloiac
    helloiac
    Aug 25, 2018
    4
    啥叫增量更新？
    glacer
    glacer
    Aug 25, 2018 via iPhone
    5
    增量更新实际上就是重爬，通过对 url 或某个字段的值进行排重，新增或变化即入库，否则忽略。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4199 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 06:35 · PVG 14:35 · LAX 22:35 · JFK 01:35
    ♥ Do have faith in what you're doing.