应用场景是这样:有一个爬虫系统,各种网站上爬了很多网页。但客户删除了一些网站上的帖子,现在需要重新爬一次,把客户删帖的帖子找出来。这种删帖的情况,好像没有标准。各个网站,论坛会提供各种的 404 方案,甚至是找人。请教各位大侠,有什么办法能怎么准确的找出删帖
应用场景是这样:有一个爬虫系统,各种网站上爬了很多网页。但客户删除了一些网站上的帖子,现在需要重新爬一次,把客户删帖的帖子找出来。这种删帖的情况,好像没有标准。各个网站,论坛会提供各种的 404 方案,甚至是找人。请教各位大侠,有什么办法能怎么准确的找出删帖