一个简单的爬虫：网易的菜单，有兴趣的可以拿来练手

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 4046 days ago, the information mentioned may be changed or developed.

网易杭州的菜单，公网的， ip 属于杭州电信。
目测没有什么防爬虫措施。
侵删（虽然应该不用保密）

规律：
每周末或节假日末，集中更新下一周(到周日)的菜单， materialId 一般是连续的。
比如这次是 10.7 日更新了 14903,14904,14905,14906 ；

然后会更新一堆新闻之类的，比如 14920 ；
可能有一串 id 都是同一篇文章，比如 14800-14810 ；
有些 id 、过大的 id 对应的页面提示无内容。

8 replies • 2015-10-10 14:06:02 +08:00

kendetrics

Oct 9, 2015

饿了。。

tomine

Oct 9, 2015

哪里体现出了爬虫？

k1995

Oct 9, 2015

百度云爬虫路过， http://pan.whatsoo.com

yh7gdiaYW

Oct 9, 2015

@tomine
id 会跳跃，中间夹杂一堆无用内容

vivisidea

Oct 9, 2015

菜单都是骗人的。。。。

bozong

Oct 9, 2015

@k1995 这网站不错

Marfal

Oct 9, 2015

sandyfog

Oct 10, 2015

@k1995 不错，有好多资源都是可以的