推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
myxinn
V2EX  ›  Python

想在微博监控一个人的动态, 当发布新微博时, 希望最短时间得到通知, 请问应该怎么设计? 如果是监控 1000 人 100000 人的信息呢?

  •  
  •   myxinn · Dec 1, 2017 · 10047 views
    This topic created in 3261 days ago, the information mentioned may be changed or developed.
    26 replies  •  2017-12-02 17:21:59 +08:00
    580a388da131
    580a388da131
    Dec 1, 2017
    1
    API
    loading
    loading
    Dec 1, 2017 via Android
    2
    ifttt
    20
    20
    Dec 1, 2017 via Android
    3
    那么网外的 freeweibo 就是检测删帖的 可以走这个思路
    grimpil
    grimpil
    Dec 1, 2017 via Android❤️2
    4
    打开即刻 app,添加微博机器人,创建主题,添加关注对象,等 app 通知你
    immortalz
    immortalz
    Dec 1, 2017 via Android
    5
    定时轮训?同时根据不同用户的发微博频次建立不同的轮训间隔队列(当然要动态调整)
    我用 scrapy 写的微博爬虫,大概 1 分钟 2000 多个页面吧(我测试了几个小时都稳定在跑),改成分布式我觉得上限还能增加,所以 100000 的量还行?
    est
    est
    Dec 1, 2017 via iPhone
    6
    舆情系统,10 年前玩烂的东西
    mingyun
    mingyun
    Dec 1, 2017
    7
    @grimpil 即刻是怎么做的呢
    golmic
    golmic
    Dec 1, 2017 via Android
    8
    看了下也就 5 楼说的靠谱点。我做过相关的项目,代码也还在,大规模检测用的,楼主要是想一起搞事情可以联系我。
    golmic
    golmic
    Dec 1, 2017 via Android
    9
    @mingyun 即刻并不是实时提醒的。
    xderam
    xderam
    Dec 2, 2017
    10
    盖个歪楼,这不是设计问题。
    最好的办法就是去后场村卫生巾大厦,看看有没有运维没锁屏。登进去之后接入消息队列,然后,你懂的。
    wzw
    wzw
    Dec 2, 2017 via Android
    11
    @grimpil 延迟多久,根据你的经验
    kran
    kran
    Dec 2, 2017 via iPhone
    12
    用一个账号关注这些人,只需要监控这一个账号
    lhx2008
    lhx2008
    Dec 2, 2017 via Android
    13
    用 python 搞过一个简单的,大概就是 selenium 拿 cookies,然后 request 定时访问,解析网页,更新了推微信
    heyyaya
    heyyaya
    Dec 2, 2017 via iPhone
    14
    @lhx2008 人家问的重点是问监控量大的情况下怎么保证及时性
    Reign
    Reign
    Dec 2, 2017
    15
    把这一千个人拉进一个 QQ 群,给他们说,他们一发微博就给我发信息,就酱
    immortalz
    immortalz
    Dec 2, 2017 via Android
    16
    @kran 思路不错,可惜微博的推送信息流我记得不是按照时间轴线的
    immortalz
    immortalz
    Dec 2, 2017 via Android
    17
    @est 想了解下有啥好思路分享吗
    qu3290052
    qu3290052
    Dec 2, 2017 via Android
    18
    @lhx2008 推送微信是怎么做到的
    Andysir
    Andysir
    Dec 2, 2017
    19
    皮皮精灵
    lhx2008
    lhx2008
    Dec 2, 2017 via Android
    20
    @qu3290052 企业微信,申请企业号,不用传资料也可以用 api,然后里面有个微信插件的可以推到微信
    heyyaya
    heyyaya
    Dec 2, 2017 via iPhone
    21
    @immortalz 把他们放在一个分组里面、按分组看就是时间轴顺序
    qu3290052
    qu3290052
    Dec 2, 2017 via Android
    22
    @lhx2008 学习了
    litter123
    litter123
    Dec 2, 2017
    23
    搞一台配置好的云服务器就行了,哪来那么多麻烦 2333
    immortalz
    immortalz
    Dec 2, 2017 via Android
    24
    @heyyaya 还可以这样操作,学习了
    slime7
    slime7
    Dec 2, 2017
    25
    @heyyaya 分组人数有上线,10k 人数要分几十个组
    murmur
    murmur
    Dec 2, 2017
    26
    分布式+代理 几年前抓过微博 每次都有一批账号被新浪判定安全风险要手机解锁
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4265 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 09:38 · PVG 17:38 · LAX 01:38 · JFK 04:38
    ♥ Do have faith in what you're doing.