推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
SheldonZheng
V2EX  ›  Python

什么值得买网站的定时检测爬虫

  •  
  •   SheldonZheng · Dec 22, 2016 · 11351 views
    This topic created in 3622 days ago, the information mentioned may be changed or developed.

    https://github.com/SheldonZheng/SMZDM_Monitor

    昨天写的一个什么值得买网站的监测爬虫;可以实现检测指定关键字,如果出现关键字匹配的内容发送邮件到指定邮箱。

    代码写的很烂 第一次用 python 写东西 轻喷

    Usage 里写的不太详细 改改文件开头的那一堆东西就可以用了

    如图所示

    31 replies  •  2024-10-11 10:28:20 +08:00
    riaqn
    riaqn
    Dec 22, 2016❤️3
    1
    不用这么麻烦。 smzdm 自己提供 rss feed 的,你用 rss2email 加上过滤器就行了。
    SheldonZheng
    SheldonZheng
    OP
    Dec 22, 2016
    2
    @riaqn 没想到 rss 还能干这事。谢谢了
    UnisandK
    UnisandK
    Dec 22, 2016
    3
    之前我也写过一个,出现关键词自动给自己发短信
    不过兄弟我得告诉你个悲壮的事。。张大妈客户端有这个功能了。。
    SheldonZheng
    SheldonZheng
    OP
    Dec 22, 2016
    4
    @UnisandK 你说那个关注么。。那个玩意经常刷不出来
    UnisandK
    UnisandK
    Dec 22, 2016
    5
    @SheldonZheng = =我这儿没啊,挺好用的,之前电动牙刷关注了给我推了个接近历低的活动。。
    morefreeze
    morefreeze
    Dec 22, 2016
    6
    @UnisandK 好像自从上次改版后关注特别难用,只能关注特定商品或者特定商城,不如原来的分类关注好了,我一般只关注买书方面,但关注中亚会推别的商品,好难用
    morefreeze
    morefreeze
    Dec 22, 2016
    7
    哦哦 原来还是有的 只是让我强行关注了一波中亚啥的
    ytmsdy
    ytmsdy
    Dec 22, 2016
    8
    开始写爬虫之前要关注两个事情,网站是不是有 API ,以及是否有 RSS 订阅!
    SheldonZheng
    SheldonZheng
    OP
    Dec 22, 2016
    9
    @ytmsdy 这个就是用的网站的 API 拿到的直接是 JSON 数据
    changdy
    changdy
    Dec 22, 2016
    10
    兄弟 加油,我最近也想做一个.. 张大妈自带的推送简直太垃圾了,甚至说废品。
    楼上有说 rss 订阅的,其实远远不够符合需求,有些时候我们要的并不是某一个特定商品,而是某一类商品,然后在从中挑选比较热门的,怎么评判。没有大数据的时候只能依靠 评论数 以及点赞的比例。
    ps... api 在哪,我怎么没找到?
    daiv
    daiv
    Dec 22, 2016
    11
    等便宜 所花费的时间和精力 都可以赚回来了吧。

    划不来
    SheldonZheng
    SheldonZheng
    OP
    Dec 22, 2016
    12
    @changdy 看一眼代码 抓到的包里有一个获取当前最新的 20 条信息的 API ,不算是官方提供的 API ,但是确实可以直接拿来用
    SheldonZheng
    SheldonZheng
    OP
    Dec 22, 2016
    13
    @daiv 是的 这个只是玩票性质的 刚需的商品肯定等不了……
    dhlwing
    dhlwing
    Dec 22, 2016 via iPhone
    14
    http://www.zhiribao.com 可以 app 微信 邮件推送,值得买的评论都可以在那里看,还要自己写啥?
    daiv
    daiv
    Dec 22, 2016
    15
    @dhlwing 采集的?


    @SheldonZheng 有没有这样一个网站, 购物指导性质的,例如买个台灯,直接推荐 5 个最好的,并且分析优缺点
    dhlwing
    dhlwing
    Dec 22, 2016 via iPhone
    16
    @daiv 是的
    daiv
    daiv
    Dec 22, 2016
    17
    @dhlwing 评论好像没采到吧。 采这个 流量如何
    dhlwing
    dhlwing
    Dec 22, 2016 via iPhone
    18
    @daiv 十分钟后才开始采集当前内容的评论,你去翻之前的内容。 V2EX 回复了一段点发送空白了
    yilin101
    yilin101
    Dec 22, 2016 via iPhone
    19
    色魔张大妈 app 支持 添加关键字 推送
    changdy
    changdy
    Dec 22, 2016
    20
    @SheldonZheng 等我手下的先忙完了... 再管这个 233 到时候如果找不到接口了,估计还要有劳楼主。
    ranleng
    ranleng
    Dec 22, 2016 via Android
    21
    有个人有微信的公众号接口。可以跟 github 绑了 之后 拿到 key 就可以调用了。微信提醒 比邮箱要快
    lonelinsky
    lonelinsky
    Dec 23, 2016❤️1
    22
    @daiv http://www.guiderank.org/ 刚发现了这个,但是只有品牌排行,看了自己比较熟悉的几个领域,还是比较中立的

    @SheldonZheng 张大妈还有一个 chrome 的插件,也支持过滤推送
    SheldonZheng
    SheldonZheng
    OP
    Dec 23, 2016
    23
    @dhlwing ……谢谢 这个看起来蛮好用
    SheldonZheng
    SheldonZheng
    OP
    Dec 23, 2016
    24
    @lonelinsky 涨姿势了
    SheldonZheng
    SheldonZheng
    OP
    Dec 23, 2016
    25
    @ranleng 等干完活空了看下
    sxd
    sxd
    Dec 23, 2016
    26
    以前做了监控关键词后推送到 qq ,用了一段时间后发现太费钱了就不用了。。。
    RangerWolf
    RangerWolf
    Dec 26, 2016
    27
    @sxd 想问下 费钱费在哪里?
    推送 QQ 怎么做的?
    SheldonZheng
    SheldonZheng
    OP
    Dec 26, 2016
    28
    @RangerWolf 费钱的意思就是买的多呗……推送 QQ 基本都是基于 WebQQ 的方案,你可以看看酷 Q 的接口
    sxd
    sxd
    Dec 27, 2016
    29
    嗯 之前用 webqq 不太好用 现在用酷 q 缺点是 windows only
    ty89
    ty89
    Dec 27, 2016
    30
    几年前写过一个类似东西,不过是监测二手东的
    sw3rt
    sw3rt
    Oct 11, 2024
    31
    @SheldonZheng 现在抓到的包有签名算法,api 不能直接用了,得逆向复现签名算法
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   999 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 66ms · UTC 23:24 · PVG 07:24 · LAX 15:24 · JFK 18:24
    ♥ Do have faith in what you're doing.