对于 Python 爬虫遇到一个问题，对于这样一个网站： www.icgoo.net，它好像是异步加载的，需要的型号数据在 XHR 里的 html 语句里，设置了 csrftoken。请问要什么方案爬取比较好呢？先谢谢打大家了

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3158 days ago, the information mentioned may be changed or developed.

11 replies • 2019-03-15 09:51:26 +08:00

cdwyd

Mar 13, 2018 via Android

获取 csrftoken 然后抓就是了

sr0miao

Mar 13, 2018

@cdwyd 请问如何获取呢

Mojy

Mar 13, 2018

最简单的方式是通过模拟浏览器的方式进行爬虫，缺点就是稍微有点慢，需要等到页面加载完成才好

cokky

Mar 13, 2018

用 phantomjs 模拟浏览器方式来试试

Nick2VIPUser

Mar 13, 2018

点进 chrome 里面的 Source，到?partno=ADIS16251ACCZ&qty=1 这个 page 里面搜索 token 字段，把 token 出现的地方打断点调试，边调试边读 js 代码的实现，token 初始值多少经过什么代码变成了什么样子，最后算出来是多少。然后使用 python 代码实现～