推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
borischenc
V2EX  ›  Python

突发奇想,准备开坑一个从零开始的 Python 爬虫教程

  •  
  •   borischenc · Mar 30, 2017 · 7642 views
    This topic created in 3513 days ago, the information mentioned may be changed or developed.

    偶然间发现简书这个网站对 markdown 支持的很不错。界面看起来也很漂亮。

    所以就想写一个博客。想了半天博客里面放什么,意识到最近 python 爬虫学的挺带劲的,所以干脆一不做二不休,写了一个 python 爬虫从零开始的教程。

    但毕竟对爬虫的了解还是有限,我把__博客-爬虫其实很简单__贴在这里,有什么问题也希望大家多多指正。

    (顺便问一下。。之前又一篇相同的文章发错了区,要怎么撤回呢?)

    Supplement 1  ·  Apr 1, 2017

    第二篇文章出炉了,还请大家多多指教哦~ [爬虫其实很简单] 模拟登陆与文件下载

    47 replies  •  2017-04-01 18:14:28 +08:00
    superlead
    superlead
    Mar 30, 2017
    1
    不错,坚持加油!
    最近我在捣鼓 flask 。。。。
    litao6550652
    litao6550652
    Mar 30, 2017
    2
    已收藏 加油
    d7101120120
    d7101120120
    Mar 30, 2017
    3
    已收藏
    prasanta
    prasanta
    Mar 30, 2017
    4
    互联网似乎缺少一个真正的在线写书的平台
    zhuxd282
    zhuxd282
    Mar 30, 2017
    5
    已关注。期待后续~
    we3613040
    we3613040
    Mar 30, 2017
    6
    碉堡了,写的不错
    bonfy
    bonfy
    Mar 30, 2017
    7
    好了,我又来搭车传销了,也是爬虫,也是 糗事百科。。。写了大半年了

    http://www.jianshu.com/p/a0aca9719a7f

    专题系列,有些坑其实还没填。。。
    bonfy
    bonfy
    Mar 30, 2017
    8
    @prasanta 有写书平台的, Gitbook
    Aspx
    Aspx
    Mar 30, 2017 via Android
    9
    很详细,支持
    Spectre
    Spectre
    Mar 30, 2017
    10
    写的挺好啊
    zgzh
    zgzh
    Mar 30, 2017
    11
    支持,谢谢,期待续集
    prasanta
    prasanta
    Mar 30, 2017
    12
    @bonfy 也许需要一个接地气的?
    sangmong
    sangmong
    Mar 30, 2017
    13
    蟹蟹
    Sapp
    Sapp
    Mar 30, 2017❤️1
    14
    教程类的很容易上星星,如果论坛愿意给你置顶,上千星星简直是易如反掌。
    Luckyray
    Luckyray
    Mar 30, 2017 via iPhone
    15
    支持!希望能讲的深入点,分布式,登录验证神马的。既然边探索边教,不放把踩过的坑都写写😀
    lwbjing
    lwbjing
    Mar 30, 2017
    16
    挖坑记得填好啊。。
    Kilerd
    Kilerd
    Mar 30, 2017❤️1
    17
    我觉得把,如果写爬虫教程还需要一步一步教他们怎么用 pip , 简直就是浪费时间吧。

    这种文章,百度一下一大堆(并不是在否认楼主的工作)

    我是觉得吧,入门的文章多如牛毛,然后深入的文章,整个百度可能只有一篇。

    与其教怎么入门,不如试下解决难点。



    @superlead 我在着魔写框架, 难受
    toan
    toan
    Mar 30, 2017
    18
    不错~加油!
    borischenc
    borischenc
    OP
    Mar 30, 2017
    19
    @Luckyray 哈哈好的啊,我也在不断的学习。我会不断的把学到的结合自己的理解都加上去的~
    borischenc
    borischenc
    OP
    Mar 30, 2017❤️1
    20
    @Kilerd
    嗯嗯你说的也有道理。

    可能我觉得我的教程定位有点不一样。我希望我能够带那些徘徊在门口不敢进去,在不断张望的人一个入口。让他们也感受到爬虫的简单与有趣。

    你说的难点确实也是很重要的。我也在不断的学习攻克一些东西,这个教程也会慢慢的由浅入深,慢慢的过渡到比较高级的事情上面去。

    非常感谢你的建议。我也会认真思考我的教程的定位点在哪里的。
    freshmanc
    freshmanc
    Mar 30, 2017 via Android
    21
    同意 killerd 的观点…网上好像总览性的内容不多(可能是我没找到…
    awanabe
    awanabe
    Mar 30, 2017
    22
    说实话, 写 python 教程的都是爬虫。。。还不如写写怎么抓怎么好玩的思路什么的
    borischenc
    borischenc
    OP
    Mar 30, 2017
    23
    @awanabe 嗯嗯,其实简介里面也有说,我学习爬虫是因为一个比赛。这个比赛的内容其实也很有意思,我也会深入的去思考怎么用不一样的方式去做爬虫。之后我也会把这些内容放到里面吧~
    毕竟说是教程,其实某种意义上也是我自己的学习笔记~和大家一同分享。
    pyufftj
    pyufftj
    Mar 30, 2017❤️1
    24
    @awanabe 可以预见,一大波车正在开来
    onenightintokyo
    onenightintokyo
    Mar 30, 2017
    25
    已关注
    suantong
    suantong
    Mar 30, 2017 via Android
    26
    关注,请大佬按时发车。
    ahkxhyl
    ahkxhyl
    Mar 30, 2017
    27
    刚刚 py 入门 @
    cncqw
    cncqw
    Mar 30, 2017
    28
    支持楼主,希望坚持写下去。
    prolic
    prolic
    Mar 30, 2017
    29
    支持,希望能写一写抓包分析流程,和 JavaScript 分析以及 Ajax 和 JsonP 的东西,前两天有人问我我没时间往细了讲
    SgtDaJim
    SgtDaJim
    Mar 30, 2017
    30
    导航已收藏~
    hjdtl
    hjdtl
    Mar 30, 2017
    31
    资瓷!
    apisces
    apisces
    Mar 31, 2017 via iPhone
    32
    已经关注楼主了
    cstome
    cstome
    Mar 31, 2017
    33
    我觉得写详细点对我这种刚入门的还是很友好的!!!
    borischenc
    borischenc
    OP
    Mar 31, 2017
    34
    @Luckyray 嗯嗯一定的,我会把我遇到的坑,做过的东西都一点一点放出来的。因为我想做一个通俗易懂的读物,所以东西应该也是由浅入深的来。我也会加油的~
    az1996
    az1996
    Mar 31, 2017
    35
    已收藏.
    kancloud
    kancloud
    Mar 31, 2017
    36
    国内还是推荐使用看云来写技术文档教程 http://www.kancloud.cn/explore
    velee
    velee
    Mar 31, 2017
    37
    @bonfy 哈哈 找到你了,我还给你去过 email ,希望能继续出接下来的几集!
    borischenc
    borischenc
    OP
    Mar 31, 2017
    38
    @kancloud 看云主要优势是什么呢?之前都没有看到有人用过
    Lumend
    Lumend
    Mar 31, 2017
    39
    做了一个类似的,难点是在于 url 去重,全站 url 攫取,图片下载与替换, dom 截取也过于麻烦,后来就用了 node 了
    sakura1357
    sakura1357
    Mar 31, 2017
    40
    已关注,坐等楼主更新,谢谢楼主啦
    kancloud
    kancloud
    Mar 31, 2017
    41
    @borischenc gitbook 有的功能看云都有 ,主要包括 GIT+MD+团队写作,还支持付费阅读和打赏,帮助开发者通过文档教程创收
    mokeyjay
    mokeyjay
    Mar 31, 2017
    42
    马克,请务必坚持!
    ChopMoun
    ChopMoun
    Mar 31, 2017
    43
    每一件事情,只要坚持做下去都很了不起
    andyL
    andyL
    Mar 31, 2017
    44
    66666 followed
    borischenc
    borischenc
    OP
    Mar 31, 2017
    45
    @mokeyjay
    @ChopMoun
    嗯嗯,我会坚持做下去的~
    anson2416
    anson2416
    Apr 1, 2017
    46
    我也在学习,请多多指教。
    现在测试过程中已经遇到连接数过多的问题了( Max retries exceeded with url )。请问有办法解决吗?
    重启路由还是不行。

    requests.adapters.DEFAULT_RETRIES = 5
    requests.session()
    requests.keep_alive = False

    try:
    response = get(link_iamge, timeout=0.001)
    if response.content_type()>0:
    with open(file_name, "wb") as file:
    file.write(response.content())
    except Exception as err:
    print("Error: {0}".format(err))
    requests.session().close()
    borischenc
    borischenc
    OP
    Apr 1, 2017
    47
    @anson2416 这方面我也还没辙呢,可能你试一下在 stackoverflow 问问呢?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3037 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 95ms · UTC 05:28 · PVG 13:28 · LAX 21:28 · JFK 00:28
    ♥ Do have faith in what you're doing.