Home
Sign Up
Sign In
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
爬去大众点评
qybing
·
Aug 23, 2018
· 4281 views
This topic created in 2998 days ago, the information mentioned may be changed or developed.
使用 Scrapy 爬取大众点评商铺信息(例如 URL:
http://www.dianping.com/shop/19484059
),在 def parse(self, response):函数里 response 的状态为 200,而内容却为空 body={byte} b 这是为什么
大众点评
Scrapy
URL
商铺
7 replies
•
2018-08-24 11:37:15 +08:00
f2f2f
Aug 23, 2018
1
触发他家的安全机制了,直接返回空页面
vansl
Aug 23, 2018 via iPhone
2
大众点评需要控制好频率
qybing
OP
Aug 23, 2018
3
@
f2f2f
触发安全机制,不是应该到重定向到验证码的网页吗
f2f2f
Aug 23, 2018
4
@
qybing
他家的重定向发生在已经进入到点评网站后。返回空白页是你直接 URL 访问的情况下。单位里公网 IP 就一个,经常遇到。
qybing
OP
Aug 23, 2018
5
@
f2f2f
加上 IP 代理,是否可以规避这个返回为空的问题
ksharp8
Aug 23, 2018
6
应该做了反爬虫处理,可以用 wireshark 抓一下包分析分析
qybing
OP
Aug 24, 2018
7
我加上 IP 代理,返回为空,如果不加代理频繁访问为空,不频繁正常,这是哪里出现了问题,大佬们
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
773 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms ·
UTC 23:06
·
PVG 07:06
·
LAX 15:06
·
JFK 18:06
♥ Do have faith in what you're doing.
❯