Home Sign Up Sign In
qwertty01
V2EX  ›  问与答

Selenium 爬虫被检测到怎么办？使用的是 ChromeDriver

  •   
  •   qwertty01 · Nov 21, 2017 · 6772 views
    This topic created in 3281 days ago, the information mentioned may be changed or developed.

    使用普通的浏览器可以正常访问，使用 Selenium 会触发防爬机制。

  • Selenium
  • 使用
  • 触发
  • 浏览器
    5 replies  •  2017-11-21 15:57:49 +08:00
    qwertty01
    qwertty01
    OP
    Nov 21, 2017
    1
    在线等。#-#
    p2pCoder
    p2pCoder
    Nov 21, 2017
    2
    反爬 这东西 很复杂的，selenium 触发反爬，可能是 请求速度太快
    qwertty01
    qwertty01
    OP
    Nov 21, 2017
    3
    @p2pCoder 我是这样操作的，使用程序通过 ChromeDriver 打开浏览器，然后自己手动输入网址访问，依然触发了防爬机制。
    rootsir
    rootsir
    Nov 21, 2017
    4
    抓包呗，看正常浏览器和爬虫提交的 报文头区别在哪里
    p2pCoder
    p2pCoder
    Nov 21, 2017
    5
    @qwertty01 可设置 的参数太多，我也不清楚，你最好看一下 访问的 url 链，首先确定是哪个 url，哪个页面，然后再确定哪个参数出问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1855 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 10:11 · PVG 18:11 · LAX 02:11 · JFK 05:11
    ♥ Do have faith in what you're doing.