想问一下大家 python 的 urllib 库怎么爬取跳转的链接, 我大概想了跳转链接分两类,一种是直接跳转:304 另一种是响应 200,然后自动 js 跳转的, 想问一下,是怎么实现的,需要请求 js 的 url 吗 ps:python3 环境下
想问一下大家 python 的 urllib 库怎么爬取跳转的链接, 我大概想了跳转链接分两类,一种是直接跳转:304 另一种是响应 200,然后自动 js 跳转的, 想问一下,是怎么实现的,需要请求 js 的 url 吗 ps:python3 环境下
|
p2pCoderJan 2, 2018
1
js 自动跳转的,你请求到包含 js 页面的就可以了
|
|
WoodenRobotJan 2, 2018
2
为什么不用 Requests?
|
|
YanSepJan 2, 2018
3
胶水语言,不要局限在一个库里面,不行就换,多试试其他的。
|
|
dirlsJan 2, 2018
4
1# 正解
|
|
wh01096045Jan 2, 2018
5
你也可以分析 js,得到跳转的 url,然后请求
|
|
ray8888Jan 2, 2018 via iPhone
6
为什么不用 scrapy
|
|
GinsonJan 2, 2018
7
我一般是分析 JS,拿到跳转后的链接;或者直接用能执行 JS 的库去请求,比如 selenium webdriver
|
|
9
@WoodenRobot Requests 怎么能够自动跳转,之前看到 urllib 库可以获取跳转后的链接,不知道 requests 可不可以
|
|
10
@wh01096045 好吧,我也打算这么做
|
|
WoodenRobotJan 5, 2018
12
@linhanqiu 直接重定向的 requests 可以自动实现重定向,在返回数据中获取重定向后的 URL。
|