新手刚开始学习. https://segmentfault.com/q/1010000008939688 这里有详细描述.谢谢.
|
cosmicApr 5, 2017
1
这是反爬策略吧
|
|
sleeperqpApr 5, 2017
3
你可以用 chromedrive 试试 如果还是不一样 那就说明确实有反爬的问题~
|
|
zszApr 5, 2017 via iPhone
4
可能是页面异步获取了其他内容,所以直接抓取看不到,其中策略比较多
有问题可以加我们的群问,这样效率更高,这个群是一群工程师组建的面向初学者的 python Linux 学习群( qq 群号: 278529278 ) 非商业性质,拒绝广告,只接收真正想学这方面技术的朋友,交流学习,申请请说明来自 v2ex |
|
we3613040Apr 5, 2017
5
好多异步请求
|
|
6
我也以为是异步,可是禁用 js 后的页面和我获取的页面还是不一样
|
|
googlebotApr 5, 2017 via Android
9
javascript ,
|
|
fffflyfishApr 5, 2017
10
直接抓现成的 json 包,伪装客户端发包
|
|
killervApr 6, 2017
11
你说的原网页是指的网页源代码还是审查元素?审查元素的代码是经过 js 渲染过的,不一样是很正常的,这个要以网页源代码的为标准,如果网页源代码和爬虫爬的不一样,另说,有可能是防爬。
|
|
12
@killerv 网页源代码不一样...主要是一个 css 文件不一样,结果导致我写的 xpath 和 response.css 全部为空...这种是防爬吗?
|