• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hackingwu
V2EX  ›  程序员

有什么办法吧一个网站上的文章都爬取下来吗?

  •  
  •   hackingwu ·
    hackingwu · Jul 13, 2021 · 3688 views
    This topic created in 1938 days ago, the information mentioned may be changed or developed.

    我想把一个网站上的文章爬取下来,有没有办法可以自动触发 chrome 插件(简悦),他可以重新排版,保存的日记中。但是怎么批量的去做这件事情呢?大家有什么 idea ?

    6J73U552K5UVij4R
    6J73U552K5UVij4R
    Jul 13, 2021
    1
    用 selenium ?然后加载的时候把 chrome 插件 load 进去,再用 xpath 操作?
    hackingwu
    hackingwu
    OP
    Jul 13, 2021
    2
    @2G 我们可以去触发插件的按钮吗
    itechify
    itechify
    Jul 13, 2021
    3
    爬虫爬得好
    ingdawn
    ingdawn
    Jul 13, 2021
    4
    坐牢坐到老
    seamonster
    seamonster
    Jul 13, 2021
    5
    真刑啊,日子越来越有判头了
    zelentre
    zelentre
    Jul 13, 2021
    6
    很刑.
    HankLu
    HankLu
    Jul 13, 2021
    7
    很简单
    ztcaoll222
    ztcaoll222
    Jul 13, 2021
    8
    先这样
    HashV2
    HashV2
    Jul 13, 2021
    9
    再这样
    JettWu
    JettWu
    Jul 13, 2021
    10
    进去进得早
    yunyuyuan
    yunyuyuan
    Jul 13, 2021
    11
    然后再这样
    nepiedg
    nepiedg
    Jul 13, 2021
    12
    最后在这样
    jingcoco
    jingcoco
    Jul 13, 2021
    13
    有个 网联网记忆的 工具,初衷是解决有些网站过了几年下线了 没法看的问题。
    kasusa
    kasusa
    Jul 13, 2021
    14
    python 写,selenium 库,模拟点击按钮,用 xpath 定位下一篇按钮,刷新再来。
    就这么个流程吧。
    不过我感觉网上还是垃圾信息多。都爬下来有什么用呢?
    caicaiwoshishui
    caicaiwoshishui
    Jul 13, 2021 via iPhone
    15
    楼上队形笑死我
    6J73U552K5UVij4R
    6J73U552K5UVij4R
    Jul 14, 2021
    16
    @hackingwu 可以的,用 js dom 就可以,xpath 估计也可以。
    solopython
    solopython
    Jul 14, 2021
    17
    试试 Newspaper3k
    muzuiget
    muzuiget
    Jul 14, 2021
    18
    写个浏览器扩展就可以了,专事专办。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1318 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 103ms · UTC 20:09 · PVG 04:09 · LAX 12:09 · JFK 15:09
    ♥ Do have faith in what you're doing.