herozzm
V2EX  ›  问与答

请教一个无头版本 Chrome 问题

  •  
  •   herozzm · Jan 8, 2022 · 1990 views
    This topic created in 1765 days ago, the information mentioned may be changed or developed.

    目标网站: http://ccgp-gansu.gov.cn 无头版本 Chrome 浏览仅返回<html><head></head><body></body></html>,和真实浏览器返回的内容完全不一样,请问大神问题出在什么地方?

    pelloz
    pelloz
    Jan 8, 2022
    1
    问题出在你不应该爬网站,更不应该爬 zf 网站。你这个问题或许监狱有狱友可以教你。
    ClericPy
    ClericPy
    Jan 8, 2022
    2
    好大一坨 JS... 还老是跳 dns 找不到 ip... 这是反爬还是别的
    ALTER2333
    ALTER2333
    Jan 8, 2022 via Android
    3
    假如无头是指无 User-Agent 头,那可能是服务器端做了防爬虫?对于非正常请求(无 UA )做特定的返回
    herozzm
    herozzm
    OP
    Jan 8, 2022
    5
    @ALTER2333 指的是 Headless Chrome
    herozzm
    herozzm
    OP
    Jan 8, 2022
    6
    找到原因了,网站封禁了 Headless Chrome 固定的 user-agent
    chinemds
    chinemds
    Jan 8, 2022❤️1
    7
    真刑啊
    shakaraka
    shakaraka
    Jan 8, 2022
    8
    @herozzm #6 刑了,问题解决了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   552 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 19:46 · PVG 03:46 · LAX 11:46 · JFK 14:46
    ♥ Do have faith in what you're doing.