之前写过一个 scrapy-examples 项目( https://github.com/geekan/scrapy-examples )
里面自己造了模板化抽取的轮子。但用 scrapy 来实现还是不伦不类,有点想自己做个大轮子(爬虫)。
各位觉得大概多久可以读完代码?实现一个 scrapy 大概又要多久呢?
之前写过一个 scrapy-examples 项目( https://github.com/geekan/scrapy-examples )
里面自己造了模板化抽取的轮子。但用 scrapy 来实现还是不伦不类,有点想自己做个大轮子(爬虫)。
各位觉得大概多久可以读完代码?实现一个 scrapy 大概又要多久呢?
|
yangxin0May 12, 2016
1
20k 行算小型项目,正常情况 1 各月要看完吃透
|
|
zhtsucMay 13, 2016 via Android
2
厉害
|
|
3
@yangxin0 一天 1000 行?
|
|
ayaseangleMay 13, 2016
4
想 python 这类动态语言表达力太强,代码量小并不代表好读,有时候有进坑。。。
|
|
5
@alexapollo 读的思想,而不是砖头怎么摆的
|
|
DannytmpMay 13, 2016 via Android
6
没有必要把每一行都看懂吧
|
|
haogefeifeiMay 13, 2016
7
从使用角度去读很快的。。
|
|
yangxin0May 13, 2016 via iPhone
8
@alexapollo 把握住要脉络,仔细看核心模块,其他的需要的时候再看
|
|
nivanMay 13, 2016
9
我看 LZ 头像的感觉,大概是读不完了!😄
|
|
bytenoobMay 13, 2016
10
难道单元测试的代码你也要读么。。。
话说只看 scrapy 肯定不行吧, twisted 不看一下也是不行的。 |
|
xiongxin8802May 13, 2016
11
@Yc1992 不读单元测试,不知道有什么功能吧,我现在也在疑惑读别人的代码,是不是要先读单元测试
|
|
veezzzMay 13, 2016
12
最近自己也在造爬虫轮子,有兴趣可以交流下
|
|
andong777May 13, 2016
14
可以考虑读一下早期的版本,比如 0.1 。早期版本比较精简,都是核心代码
|
|
28msMay 13, 2016
15
scrapy 框架的核心是基于 Twisted 框架,其本身并没有什么复杂的东西, twisted 才是关键。
|
|
16
|
|
17
|
|
wsy2220May 13, 2016
18
不是每一行都要看的...
|