爬虫如何实现增量爬取？

• 外包信息请发到 /go/outsourcing 节点。

• 不要把相同的信息发到不同的节点

This topic created in 3027 days ago, the information mentioned may be changed or developed.

有一个论坛，每天都有新的帖子发表，我想让爬虫每天只爬取新增的帖子，而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现？求思路。。

4 replies • 2018-07-27 09:52:07 +08:00

caiem

Jul 27, 2018 via iPhone

帖子是自增 id 么.增量时读取 max id 就行了嘛

qsnow6

Jul 27, 2018 via iPhone

去爬帖子列表页，每次都把当前页的 url 和数据库中的对比，如果没有重复的说明，这一夜都是新的 URL，然后下一页，直到出现部分重复或完全重复的页面

thedog

Jul 27, 2018 via Android

redis?

fiht

Jul 27, 2018 via iPhone

实现增量一个最简单的办法是每天抓取一下首页链接。