果然是大过年了闲了蛋疼, 给自己找乐子。写了个很简陋的爬虫,爬校花。请原谅我,性能是硬伤> <
kechenggezi-Spider
有大牛愿意帮忙改进么。。。
果然是大过年了闲了蛋疼, 给自己找乐子。写了个很简陋的爬虫,爬校花。请原谅我,性能是硬伤> <
kechenggezi-Spider
有大牛愿意帮忙改进么。。。
|
KirscheisFeb 12, 2016
1
设备 token 是什么。。没用过课程格子,这个东西是需要用类似 mitm 抓包的方法拿到的吗?还是算法生成的?
另外看到代码 cookie 里写死的_kecheng_session ,确定这个值不会改变吗。。? |
|
2
@Kirscheis token 是抓包得到的,_kecheng_session 这个会不会变我也没试过,因为手上只是用了一个账号来做的实验。另外,感觉 token 是假的,我就随便输了个 token ,也是能抓取数据的。
|
|
3
上 gevent or scrapy, 另外需要 code review 。
|
|
shylingFeb 12, 2016
5
为什么我看到性能想入非非= =
|
|
KirscheisFeb 12, 2016
8
@mianju 原来是这样。测试了一下你的爬虫,图片只下载了前二十张就卡住了 (bug?) 。。。单线程下载爬速确实感人。另外返回的图片 url 可以直接去掉后面的 !300x300 ,这样就可以下载到原图了。
|
|
KirscheisFeb 12, 2016
9
@mianju 我试试加个多线程功能。另外对方返回的本来就是 serialize 了的 json 格式,感觉可以多保存点信息,比如说直接保存 pretty-print 的 jsonline 文件之类的。。
|
|
KirscheisFeb 12, 2016 via Android
10
发现自己并不会用 python2 。。直接用 scrapy 重构了
|
|
icedxFeb 12, 2016
11
为啥不换个头像呢?
|
|
gateswongFeb 13, 2016 via Android
13
性能还好 其实你爬太快的话反而对网站不友好还可能被封
|
|
lijshFeb 13, 2016
15
看了下楼主代码,好像 request 用了两次?一次用来求 page 总数,一次用来迭代结果页;感觉可以再打磨一下,结果可不可以一页一页出,像 Generator 那样?
|
|
hqs123Feb 13, 2016
16
楼主很厉害啊
|
|
xuxiangyangFeb 13, 2016
17
楼主你好,从我们群里看到了你的帖子,也看了你的 github 。感觉你是个很不错的同学,有没有兴趣来课程格子玩玩爬虫,做做开发呀?有兴趣的话请给我发邮件: [email protected] 课程格子工程师 徐向阳
|
|
N4HS3zwwKs7wira0Feb 13, 2016
18
@xuxiangyang 给多少工资啊 2333
|
|
aksoftFeb 13, 2016
19
亮点是校花
|
|
ahxxmFeb 13, 2016
20
cookies 丢.gitignore 里吧.... 你这么 commit 上去不太安全
|
|
penjianfengFeb 13, 2016
21
校花榜...要不我也去爬一下...
|
|
jackyuJFeb 13, 2016
22
= = 你可以再尝试弄个聚类。
|
|
xuxiangyangFeb 13, 2016
23
@lianxiangru 可以发简历,然后私聊~
|
|
24
@xuxiangyang 当然有兴趣> <,没想到第一次做爬虫就能引起课程格子的注意,还担心写爬虫会违法括弧哭。
|
|
luw2007Feb 14, 2016
27
爬取图片没有什么好的办法。 如果过频繁抓取。 会被禁用掉得。
+++ b/xhspider.py @@ -42,12 +42,12 @@ def main(): #以下代码为保存图片 count += 1 conn = requests.get(p[i]['avatar_url'], cookies=cookies,headers=headers) - name = str(i) +'.jpg' + name = str(count) +'.jpg' f = open(r'/path/to/save/'+ name,'wb') #填写保存位置 f.write(conn.content) f.close() @Kirscheis 保存的逻辑有问题。 |
|
28
|