装了个这个框架，WIN10 上花了我 1 个多小时真麻烦，晚上在研究。 我有个疑问，如果抓取些比较简单的东西，会不会是脱裤子放屁了？ 再一个，phython 语法还么看完，php 也是搞下逻辑处理，调用，是不是很难上手？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3379 days ago, the information mentioned may be changed or developed.
 |
cdwydAug 3, 2017 via Android
1
requests 能满足大多数个人需求
|
 |
1nakaELYBbsXbZxYAug 3, 2017
2
既然用 php,那就用 php 自带 curl 就好啦
|
 |
3
赞同楼上意见, 用 requests 就好了. 如果你不知道一个东西有什么用, 那么说明你不需要它.
|
1 |
wellscAug 3, 2017
4
这框架就是给新手用的
|
 |
5
你们众说纷纭 我只是不知道哪个框架更好入手
|
 |
lxmlAug 3, 2017
6
scapy 是速度快，然后会自动处理容错等一系列特性，如果你只抓取很少很少信息的话，建议你去浏览器上用开发者工具获取到 curl。
然后 去这个网站，直接把 curl 输入进去 https://curl.trillworks.com/#python，可以自动替你生成 Python 代码，把 cookie url header 什么都弄好了，你稍微再改改，加加循环什么的大概就能用了。 当然，如果你对 PHP 更熟悉的话，往下看，有选项也可以生成 PHP 的代码。 |
 |
Ehco1996Aug 3, 2017 via iPhone
7
|
 |
inflationaaronAug 4, 2017
8
scrapy 用了不少 Python 的高级特性，如果不了解的话很容易踩坑。先熟悉 requests 吧
|
 |
OldPandaAug 4, 2017
9
|
 |
chengxiaoAug 4, 2017
10
我之前也跟楼主状态差不多，scrapy 上手还是比较快的，只抓简单的网站就是熟悉下 xpath/css 选择器这些东西和 pipeline 处理流程 还有就是数据库的存写 就能抓很多网站了
|
 |
slideclickAug 4, 2017
11
@lxml 牛
|
 |
860670496Aug 4, 2017
12
@wellsc #4 不能更同意
scrapy 比自己从头造轮子方便多了，就是要理解几个概念和他的工作流程，剩下的基本就是写 xpath 和改参数，好些 class 你自己 override 一下后写别的爬虫也能复用 真要出现了新手解决不了的问题，也有各种 middleware 给你折腾，比如换头换代理什么的 |
 |
xylsmmmmmmmm3Aug 4, 2017
13
如果自己不太用，就偶尔用一次建议自己造轮子。如果大于三次使用爬虫，建议好好学习下框架。看着官方文档走把。
|
 |
superleadAug 4, 2017
14
简单的 没必要用这框架了
|
 |
Miy4moriAug 5, 2017 via iPhone
15
这框架适合新手，有编程基础一会儿就能抓网站了。
|
 |
hcnhcn012Aug 5, 2017 via iPhone
16
看官方文档啊，讲的蛮详细的，基础(spider,selector,item,itemloader & processor,pipeline,settings,request & response)搞清楚就可以写简单的爬虫啦，更客制化一些就去看他的 api 和各种中间件
|
|
hcnhcn012Aug 5, 2017 via iPhone
17
如果对 python 还不够熟悉，那就 php 吧，要大致上理解 scrapy 还是要扎实 python 基础的
|
Select Language