RT，Scrapy如何爬瀑布流的站点？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4174 days ago, the information mentioned may be changed or developed.
 |
estJun 5, 2015
1
我遇到了这个问题，解决办法是自己写。
|
 |
mthliJun 5, 2015 via Android
2
瀑布流有"page="吧，试试找找看看？
|
 |
kisshereJun 5, 2015 via Android
3
抓包，提取网址，实在不会用casperjs吧
|
 |
mahone3297Jun 5, 2015
4
@est 自己写是什么意思？
|
 |
nikoukouJun 5, 2015
5
casper.js可以试一试，就是速度比较慢，相当于cli的按键精灵。。
|
 |
alexapolloJun 5, 2015
8
上内核做渲染！
|
 |
duobeiJun 5, 2015
9
@alexapollo 这个建议不错
|
|
kisshereJun 5, 2015 via Android
10
@rphoho 刚都说了，叫你chrome F12键抓包，一般如果他的MySQL不是cursor分页的话，可以直接按照pageid递增就抓取了，遇到瀑布流是好事，这样更容易抓取
|
|
kisshereJun 5, 2015 via Android
11
瀑布流一般都会ajax加载json，更容易抓取和解析
|
 |
allen3921Jun 5, 2015
12
直接分析js
|
 |
ChiangDiJun 5, 2015
13
当然是看他的 js 代码，有时候可能爬虫都不要写就是一个 json API
|
|
alexapolloJun 6, 2015
14
@duobei 其实这是最标准的方法。。应该。。
|
 |
onlyiceJun 6, 2015
15
如果不是瀑布流，你会怎么抓？
其实是不是瀑布流跟 scrapy 没什么关系，只跟网站的 HTTP 接口是怎样的有关系。 |
 |
mingyunJun 7, 2015
16
casper.js没用过，有这方面的案例吗
|
Select Language