dayupday
V2EX  ›  问与答

请好心人分享一个能现用的 Python 版微博爬虫,使用目的是关注准老婆微博更新,不随时刷微博伤不起啊。

  •  
  •   dayupday · May 13, 2016 · 6576 views
    This topic created in 3829 days ago, the information mentioned may be changed or developed.
    其次是想学习下 Python ,觉得爬虫好有趣。
    Supplement 1  ·  May 14, 2016
    首先在此谢谢做出有正面意义回复的大家。对于大家指出的问题,确系是自己的不妥。
    但某些楼层说什么是来骗代码的,只能说你们真够可笑的。实际上 Google 后就有很多现成可用的代码,例如 GITHUB ,知乎,简书上面等等
    那些个以己度人给别人贴标签的人,你在无人的角落里摸着自己的良心敢对天发誓,自己造轮子的时候没有去借鉴别人的代码吗?
    诚然自学或者说是自力更生才是最根本的出路,还是怪自己太憨了,结贴了
    67 replies  •  2016-05-17 13:28:22 +08:00
    murmur
    murmur
    May 13, 2016
    1
    这理由 0 分 把你老婆加到特别关注里新浪就会有更新就推给你
    dayupday
    dayupday
    OP
    May 13, 2016
    2
    @murmur 不喜欢渣浪,之前有注册过账号,莫名其妙的给封了,然后不喜欢手机里装这些乱七八糟的软件,再再然后,因为时差,有移动版经常刷不出内容,加上最近感觉爬虫好有趣好有趣,就想在使用中借鉴下各位前辈的经验
    matthewz
    matthewz
    May 13, 2016
    3
    没帐号咋爬? 别作了

    而且爬中文互联网一点不有趣, 比如新浪简直哔了狗
    dayupday
    dayupday
    OP
    May 13, 2016
    4
    @matthewz 这和中文有趣无趣无关啊,就是爬虫能实现信息的自动采集觉得很有趣,至于账号,问朋友要了个几年前用手机号注册的
    graetdk
    graetdk
    May 13, 2016❤️1
    5
    不得不说, http://www.competehunt.com/ 可以满足你的需求
    df4VW
    df4VW
    May 13, 2016❤️56
    6
    看到 po 主这种人真他妈想扇你两个巴掌

    1. 没人想知道你和你老婆那点破事
    2. 好吧,我们现在知道了,你老婆和你关系如胶似漆,她发一条微博你几分钟之内就得知道要回复
    3. 一楼 @murmur 这么简单好用的办法你他妈说不喜欢渣浪,不喜欢手机里装乱七八糟的 app 这他妈都是什么毛病,要不要告诉你老婆你这些都不喜欢她还逼不逼你关注她
    4. 他妈的你还没有账号你要做爬虫
    5. 你想学 python 就学啊,谷歌搜个 python ,微博,爬虫,会把?会把?会把?

    v2 怎么会有这么多低素质的用户,他妈的现在门槛低了果然什么屌都有
    dayupday
    dayupday
    OP
    May 13, 2016
    7
    @graetdk 谢谢提供解决方案,但是个人喜欢自我实现,这样感觉太有成就感了,顺便可以在媳妇面前显摆显摆,哈哈哈
    jadecoder
    jadecoder
    May 13, 2016
    8
    我想给楼上送上 32 个赞,可惜只能送一个
    murmur
    murmur
    May 13, 2016
    9
    @df4VW 说的脏话不好,但是第四点是真的,没微博账号你啥都看不到,点两下就是登录页面
    jadecoder
    jadecoder
    May 13, 2016
    10
    我说 6L
    喜欢自我实现就自己写啊,用个开源的程序显摆毛啊
    dayupday
    dayupday
    OP
    May 13, 2016
    11
    @df4VW 兄台没必要这样吧,发帖的目的我也说过了,就是使用中借鉴大家的经验,毕竟年纪大了,没有那么多精力,只能空闲时自学下。
    xuwenmang
    xuwenmang
    May 13, 2016
    12
    一堆废话理由没什么问题,跑出来秀老婆就是你的不对了
    dayupday
    dayupday
    OP
    May 13, 2016
    13
    @xuwenmang 我也苦啊,好不容易有人愿意收留了, vexer 不是 Acer 啊
    zhouxuchen
    zhouxuchen
    May 13, 2016 via iPhone
    14
    既然你其次的目的才是学 python ,那还不如别学了,开个微博会员,秒秒钟给你推送你女朋友的微博 [滑稽]
    billion
    billion
    May 13, 2016 via iPad
    15
    坚决不能便宜了伸手党。想要爬虫?可以啊,拿钱来。
    zhaojjxvi
    zhaojjxvi
    May 13, 2016 via iPhone
    16
    加为“特别关注”,她任何更新, app 上会提示的。
    dayupday
    dayupday
    OP
    May 14, 2016
    17
    @zhouxuchen 前面我有说过,就是感兴趣,然而你不觉得有实例能更好的理解所学过程中遇到的疑难问题吗
    dayupday
    dayupday
    OP
    May 14, 2016
    18
    @zhaojjxvi 微博的 app 之臃肿,推广之烦大概大家都能感觉到
    Lonely
    Lonely
    May 14, 2016
    19
    不如把你老婆的账号公布一下😏
    你如果不喜欢官方 app 的话也可以用第三方的啊
    Chichele
    Chichele
    May 14, 2016 via Android
    20
    有个 APP 叫 IFTTT 。
    dayupday
    dayupday
    OP
    May 14, 2016
    21
    @billion 这为兄台,别动不动就扣帽子,何为伸手党?假设你来到一个陌生的城市,四通八达的道路让你迷惑,你会不会请教路人某某地方该怎么去?那我也可以说你是伸手党啊,你不知道自己驾车 /乘 bus 将全市跑一圈吗,这样就不存在迷路的可能性了,很容易对不?当然这比喻不怎么恰当
    话说回来,学习是一个日积月累的过程,不是一早一夕就能办成的,能借鉴前辈的经验又有何不妥?
    dayupday
    dayupday
    OP
    May 14, 2016
    22
    @Lonely 想吧骚年,不过还是谢谢提供解决方案。 IF 我测试过了,不怎么好用,不过同步还可以
    dayupday
    dayupday
    OP
    May 14, 2016
    23
    @tigerstudent 回复错了楼层,谢谢提供解决方案,之前有段时间就是用 IF 的,但期间很多次同步不了
    TaMud
    TaMud
    May 14, 2016
    24
    骗子,为了套代码,真是用尽脑子呀,有这时间还不如好好学习
    dayupday
    dayupday
    OP
    May 14, 2016
    25
    @TaMud 你这话可是赤裸裸的人身攻击啊,不要凭主观去妄断别人,不好。
    10 年前我确实是学习软件工程的,但基本上就没上过课,这些年改行了,但也是有一颗编程的心,一直想着写个自己的小程序用用
    cxd44
    cxd44
    May 14, 2016 via Android
    26
    还是直接注册帐号关注得了
    shakespaces
    shakespaces
    May 14, 2016 via Android
    27
    六楼火气大了点,然而也不无道理…
    Suclogger
    Suclogger
    May 14, 2016
    28
    会员有短信提醒
    love4taylor
    love4taylor
    May 14, 2016 via Android
    29
    加特别关注,买微博会员实时提醒都是因为她,然后发现微博会员似乎挺有逼格停不下来了
    dayupday
    dayupday
    OP
    May 14, 2016
    30
    @Love4Taylor 这些方案我都用过,被封的账号还买了一年的会员,结果说我发广告,我发个毛线啊,一条微博都没发,因此产生了对渣浪的厌恶感也就催生了另寻它路的想法。
    love4taylor
    love4taylor
    May 14, 2016 via Android
    31
    @dayupday 真惨 没去和官方撕逼么 毕竟 0 微博记录
    dayupday
    dayupday
    OP
    May 14, 2016
    32
    @Love4Taylor 和他们交涉了几天,结果就是咬定我的账号大量发送虚假广告,后来也没心情和他们扯淡了就放弃了
    kslr
    kslr
    May 14, 2016 via Android
    33
    我记得新浪有个浮动窗,里面的单人的时间线,可以做一个增量的记录。
    第二个是微薄的 Api ,个人可以实名认证然后就好了
    zhaojjxvi
    zhaojjxvi
    May 14, 2016 via iPhone
    34
    @dayupday 就是让你看通知,又没有让你刷微博,推广和臃肿和你啥关系
    看来你的 first piority 并不是真正的 first piority 啊
    powerfj
    powerfj
    May 14, 2016
    35
    可以使用 ifttt
    pheyer
    pheyer
    May 14, 2016 via iPhone
    36
    @dayupday 说不定是账号被盗了大量发垃圾广告
    sxyuqiao
    sxyuqiao
    May 14, 2016 via iPhone
    37
    @zhaojjxvi 说白了就是骗代码
    dream7758521
    dream7758521
    May 14, 2016 via Android
    38
    @df4VW 骂的真他妈的太好了, 100 个赞
    v2gba
    v2gba
    May 14, 2016 via iPhone❤️1
    39
    1 点了感谢 6 楼

    2 注册微博账号 然后看微博官方 api 你这简单的需求基本就是里面的例子稍微改一下(改下例子里的 uid , 做个 cron 每隔多少时间运行一遍,嫌麻烦直接 python 里 for+sleep 就行)如果你这都嫌麻烦 那还是花钱找人买代码吧 根本不是自己想做一个
    Sakura
    Sakura
    May 14, 2016
    40
    总结一下就是,既不想学,还想显摆,被诘问后强行甩锅给新浪
    waltcow
    waltcow
    May 14, 2016 via iPad
    41
    ifttt
    xiamx
    xiamx
    May 14, 2016
    42
    400USD , 3 天,有兴趣 PM
    gimp
    gimp
    May 14, 2016
    43
    @df4VW 话糙理不糙
    zhangbohun
    zhangbohun
    May 14, 2016
    44
    看了一些,贴主所有的主题帖都在“求助”。
    snowman
    snowman
    May 14, 2016 via iPhone
    45
    嗨呀,我佛
    allenlee7c9
    allenlee7c9
    May 14, 2016 via Android
    46
    刚开始没细看贴,还想为啥这么多人喷,拉上去一看“能现用的 Python 版微博爬虫”,“个人喜欢自我实现,这样感觉太有成就感了,顺便可以在媳妇面前显摆显摆”。。。 tm 想直接要套代码还能有成就感了,抱歉误会了回帖的各位,大家继续
    hinkal
    hinkal
    May 14, 2016
    47
    别人的代码不能满足需求那不就应该自己动手造轮子吗?自己不愿动手还 bb 就有点矫情了
    publicAdmin
    publicAdmin
    May 14, 2016
    48
    @zhangbohun 习惯是慢慢养成的? 😄😄
    crazylinus
    crazylinus
    May 14, 2016
    49
    @zhangbohun 其实求助贴本身没啥问题,你看现在首页上一大半都是求助帖。
    Alex5G
    Alex5G
    May 14, 2016 via Android
    50
    重点是你说了准老婆,你要是说准老公就不一样了。好吧,自己谷歌😂
    crayygy
    crayygy
    May 14, 2016
    51
    @crazylinus 求助帖也是要有意义的,比如说代码出现什么问题了, Google 搜索过了,代码贴上来,给出重现方式, log 信息,我觉得这种求助是有意义的,别人也会愿意去帮助。

    LZ 这样的,我不觉得有什么意义。
    chairuosen
    chairuosen
    May 14, 2016
    52
    点赞脚本 : https://github.com/ccbikai/likefordear
    app :报告主人
    menc
    menc
    May 14, 2016❤️2
    53
    都不愿意为了女朋友下载注册一个微博,你真的爱她么
    dayupday
    dayupday
    OP
    May 14, 2016
    54
    @menc 是注册过被无故封号了
    YIem
    YIem
    May 14, 2016
    55
    又看见一群吃瓜"群众" 好好的吃你的瓜就完事了呗! 怎么一天事事的这么多!
    sxyuqiao
    sxyuqiao
    May 14, 2016 via iPhone
    56
    果然到处都不缺不要脸的人
    “结贴了唉我真是太憨厚了”
    这种话真的说的出口哦,话说发现了 emoji 没有吐的表情。
    dayupday
    dayupday
    OP
    May 14, 2016
    57
    @sxyuqiao 请尽管放心你大胆的吐,看看你的嘴脸,你有什么资格站在道德制高点批评我?我拿你一分了还是翘了你的妹子了?再者憨和憨厚能等价使用吗?尽干些站着说话不腰痛的事
    Rand01ph
    Rand01ph
    May 14, 2016
    58
    问题是,爬虫做好了,接下来就需要服务器了,得一直跑着对吧,服务挂了怎么办,得考虑用个守护进程,要是守护也挂了怎么办,得加个邮件提醒。。。
    我觉得还是下个微博加入特别关注吧,又快又准。。。
    Exin
    Exin
    May 14, 2016
    59
    楼主是程序员吗
    这种典型的程序员思维真的要改改
    dayupday
    dayupday
    OP
    May 14, 2016
    60
    @Rand01ph 哈哈哈,确实有道理
    dayupday
    dayupday
    OP
    May 14, 2016
    61
    @Exin 正因为我不是程序员,所以感觉楼里某些同学的思维就是一根筋
    aaronzjw
    aaronzjw
    May 14, 2016 via iPad
    62
    @df4VW 话糙理正
    Exin
    Exin
    May 14, 2016
    63
    @dayupday
    这样啊。其实我的意思是“我有个需求->我可以通过创造某某工具简化我的步骤->创造工具”这种方式在工作上蛮有用,可以有滚雪球的效应,但是在其他领域里(比如你这里的关注女朋友),往往让人忘了最初的目的误入歧途。
    dayupday
    dayupday
    OP
    May 14, 2016
    64
    我本着实事求是的想法发帖,告知是因为什么发帖,求来的代码打算怎么用,结果触动了某些同学的 G 点
    6L 的言辞也仅有第四条是指出的问题,第五条是建议
    第一,二条完全就是强行拉仇恨,我是求着去关注我老婆了吗?还是我秀恩爱了?重点是求爬虫代码好吗
    第三条,每个人都有自己的一些稀奇古怪的癖好,我就不喜欢装渣浪的 app 碍着谁什么了?渣浪的 app 有几人用过是点赞的?我不装就是我矫情我有毛病?况且这又和我喜不喜欢我老婆有什么关系?这一点的逻辑本身就很奇怪

    人生观不要太奇怪了
    sxyuqiao
    sxyuqiao
    May 14, 2016 via iPhone
    65
    @dayupday 你自 high 好了无所谓 反正大家的态度你都看到了 你要觉得众人皆醉你独醒 那就继续憨厚下去好了👏🏻👏🏻👏🏻
    lazydao
    lazydao
    May 15, 2016 via Android
    66
    的确找骂
    Kilerd
    Kilerd
    May 17, 2016 via Android
    67
    看了楼主的发帖记录,只能说,何必自找麻烦呢?

    再者,发帖内容与回帖内容极其不负,何来公信力?

    最后,去看看提问的艺术。


    ps:憎恨伸手党!!!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1687 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 578ms · UTC 11:20 · PVG 19:20 · LAX 03:20 · JFK 06:20
    ♥ Do have faith in what you're doing.