求方法，求思路。
需要抓取全，只要hao123网站上的，不要爬出去了。
需要抓取全，只要hao123网站上的，不要爬出去了。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 5077 days ago, the information mentioned may be changed or developed.
 |
wang2191195Dec 14, 2012
1
scrapy 你值得拥有
|
 |
enj0yDec 14, 2012
2
使用云的理念，用访客的资源来爬行，节约服务器资源。。
哈哈，估计这样的网站没有人敢访问。 |
 |
3
|
 |
flyingkidDec 14, 2012
4
设置一个规则 http://*.hao123.com/*
其他的全部调过。 |
 |
zurocDec 14, 2012
6
|
|
7
|
1 |
momouDec 14, 2012
8
|
 |
tiooverDec 14, 2012
10
curl拉下来
然后找出所有<a> |
 |
dreampufDec 14, 2012
11
wget -e robots=off -r -T 3 --domains=hao123.com www.hao123.com
for i in `find . -iname *.html`; do cat $i | grep "http:" | sed 's/^.*http/http/' | cut -d'"' -f1 | sort -u;done |
 |
greatghoulDec 14, 2012
12
wget 就搞定了。
|
 |
glseeDec 14, 2012
13
|
 |
barberyDec 15, 2012
14
右键网页另存为。。。。用正则提取。。。。
|
 |
im924106179Dec 15, 2012
15
100rmb包搞定
|
|
16
@im924106179 你能搞定就上代码，100rmb我付你。
|
 |
xjayDec 16, 2012
17
scrapy 你值得拥有，呵呵。
用CrawlSpider，写好rules规则，然后在parse_item里面就可以处理你要的数据了，再实现一个pipeline数据管道，把你要的数据保存起来，就ok了。 |
 |
ccdjhDec 16, 2012
18
爬取应该不行，你写个爬虫，总有你控制不住，或者没有那么智能。
你还不如写一个按页抓取的。就是你输入http://www.hao123.com/hardware 把http://www.hao123.com/hardware上的站提取出来，并且转json就好了。没必要钻胡同 |
 |
xieranmayaDec 17, 2012
19
这样行不行,用jQuery
$("a").each(function(){ $("<div></div>").load(this.href).appendTo(document.body); }); |
|
21
|
 |
bigdudeDec 19, 2012
22
wget 啊
|
 |
IFoonDec 19, 2012
23
用采集工具啊。。
www.sensite.cn |
 |
adyizhanDec 19, 2012
24
@im924106179 怎么联系。
|
 |
ADIVILOrzDec 19, 2012
25
|
 |
secretworryDec 20, 2012
28
@kenneth echo "YOUR_SQL_HERE" | $MYSQL 就能输入数据库了。
其中MYSQL="mysql -u"(YOUR MYSQL ACCESS COMMAND) |
 |
aksoftDec 21, 2012
29
都是NB人,学习下..
|
Select Language