imlonghao
17.32D
2.99D
V2EX  ›  V2EX

[预告] 最新的 V2EX 收藏 Top 50 即将完成

  •  
  •   imlonghao · Feb 2, 2015 via Android · 5358 views
    This topic created in 4295 days ago, the information mentioned may be changed or developed.
    类似的帖子 /t/77480 /t/41746

    这是我所搜到的相关的排名帖子,如今,V2EX的帖子已经番了一番,现在的ID已经快16W了,最近7W似乎没有想类似的帖子了。

    于是乎,我又想做一次相关的帖子。

    爬虫目前正以每分钟12个帖子的速度爬取V2EX,预计10天后可以爬完V2EX...........
    (只有一台VPS,一个IP,绕不过V2EX的防CC策略,因为实在太牛逼了防护)

    有点遗憾的是,我忘记了采集评论数,所以这次可能会没有评论的排名。

    本次会有的东西,
    收藏 Top 50
    感谢 Top 50
    发帖最多的作者 Top 20
    或者其他我没想到的
    ......
    如果需要其他排名的话可以告诉我,我会在下一次中加上。


    ----
    目前的成品,
    Segmentfault和Segmentfault的博客
    http://esd.cc/ V2EX的数据也会在此发出..

    网站采用Django,可以在Github上看到源码

    感谢!
    Supplement 1  ·  Feb 6, 2015
    截止目前,已经采集55000个页面左右
    不过预计需要更长一点的时间
    Supplement 2  ·  Feb 7, 2015
    目前正采用4IP进行爬取....
    每个IP均是12个页面每分钟
    累啊......
    9 replies  •  2015-02-08 18:07:05 +08:00
    illuz
    illuz
    Feb 2, 2015
    1
    很炫酷的样子,坐等
    tanyuxiang
    tanyuxiang
    Feb 2, 2015
    2
    已收藏此帖。。。
    worldask
    worldask
    Feb 3, 2015
    3
    坐等10天
    hjc4869
    hjc4869
    Feb 3, 2015
    4
    楼主我要赞助你IP,蛤蛤
    huasha
    huasha
    Feb 3, 2015
    5
    期待!
    yuanji
    yuanji
    Feb 3, 2015 via iPhone
    6
    @Livid 轻轻一笑,写下一行 SQL。
    phoenixlzx
    phoenixlzx
    Feb 3, 2015
    7
    .... V2EX 用的不是 SQL 吧....
    Mihuwa
    Mihuwa
    Feb 3, 2015 via iPhone
    8
    还以为站长换头像了……
    imlonghao
    imlonghao
    OP
    Feb 8, 2015
    9
    @Mihuwa @phoenixlzx @jyjmrlk @huasha @hjc4869 @worldask @tanyuxiang @illuz
    大概后天就OK了.........
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   929 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 20:09 · PVG 04:09 · LAX 12:09 · JFK 15:09
    ♥ Do have faith in what you're doing.