• 请不要在回答技术问题时复制粘贴 AI 生成的内容
qbhy
V2EX  ›  程序员

老司机开车啦,下载指定 tumblr 博客的视频和照片到本地~

  •  
  •   qbhy ·
    qbhy · Apr 21, 2018 · 10302 views
    This topic created in 3124 days ago, the information mentioned may be changed or developed.

    项目地址: https://github.com/qbhy/go-tumblr-crawler mac 同学 clone 下来可以直接运行 ./tumblr 运行。 windows or linux 同学需要自己编译一下,golang 编写的,需要 go build 一下(注意依赖)。 有些的不好的地方欢迎指出或者 PR ~

    20 replies  •  2018-05-10 21:48:40 +08:00
    qbhy
    qbhy
    OP
    Apr 21, 2018
    1
    # go-tumblr-crawler
    Easily download all the photos/videos from tumblr blogs. 下载指定的 Tumblr 博客中的图片,视频。golang 版本。

    ## 配置和运行
    配置需要爬取的站点: `sites.json`
    ```
    [
    {
    "site": "truenorthshow",
    "video": true,
    "photo": true
    },
    {
    "site": "photosbygerardo",
    "video": true,
    "photo": true
    }
    ]
    ```
    配置代理 : `proxies.json`
    ```
    {
    "http": "socks5://127.0.0.1:1080",
    "https": "socks5://127.0.0.1:1080"
    }
    ```
    然后保存文件,双击运行 `./tumblr.exe`(还没编译好,你可以自行编译).
    mac 用户可以直接运行 `./tumblr`
    jisibencom
    jisibencom
    Apr 21, 2018 via Android
    2
    怎么编译呢
    qbhy
    qbhy
    OP
    Apr 21, 2018
    3
    @jisibencom 啥系统
    wangxiaoaer
    wangxiaoaer
    Apr 21, 2018 via Android
    4
    笑死了,今天是怎么了,刚分享了一个在线下载的就碰到楼主这个
    https://www.v2ex.com/t/448720#reply8
    qbhy
    qbhy
    OP
    Apr 21, 2018
    5
    @wangxiaoaer 哈哈,我也是默默点了收藏
    sola97
    sola97
    Apr 21, 2018 via Android
    6
    我自己用 scrapy 写了个递归抓取的,同时保存每个视频的评论,然后入库后用 MySQL8.0 的正则查询评论存在关键词的视频的源地址,用 aria2c 下载,实际上效果不错
    Osk
    Osk
    Apr 21, 2018
    7
    看了下代码好像不支持下载原始分辨率的图片,差评 /doge/
    aice114
    aice114
    Apr 21, 2018 via Android
    9
    默默收藏一个
    qbhy
    qbhy
    OP
    Apr 22, 2018
    10
    @sola97 我这个这版本没有做数据库存储,有时间再改进
    qbhy
    qbhy
    OP
    Apr 22, 2018
    11
    @Osk 写的比较急,后面会完善~
    谢谢关注~
    qbhy
    qbhy
    OP
    Apr 22, 2018
    12
    @sola97 谢谢老司机~稳
    ihciah
    ihciah
    Apr 22, 2018 via iPad
    13
    顺便,我的 telegram bot 也可以开 tumblr ………
    支持自动抓取并推送至私聊,channel 或者群聊。抓取列表,推送对象等都可以通过 tg 聊天管理。

    https://www.v2ex.com/t/448493
    hizzx
    hizzx
    Apr 22, 2018 via Android
    14
    @sola97 开源了吗
    redmofang
    redmofang
    Apr 22, 2018 via Android
    15
    能区分博主自己上传与转发他人的帖子吗?
    suyuanhxx
    suyuanhxx
    Apr 23, 2018
    16
    前段时间,我刚分享过一个这玩意...
    k7262140
    k7262140
    Apr 23, 2018
    17
    能否 下载 指定博客的 喜欢?
    qbhy
    qbhy
    OP
    Apr 23, 2018
    18
    @redmofang 应该可以的,回头我研究一下
    qbhy
    qbhy
    OP
    Apr 23, 2018
    19
    @k7262140 应该也可以,回头研究一下~也欢迎 PR
    exxfzc
    exxfzc
    May 10, 2018
    20
    @qbhy mac 小白,看不懂怎么操作...
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2227 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 14:07 · PVG 22:07 · LAX 06:07 · JFK 09:07
    ♥ Do have faith in what you're doing.