工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
netnr

吐槽爬虫(来自火山引擎 IP)伪装 UserAgent

  •  
  •   netnr · Jul 19, 2025 · 3941 views
    This topic created in 491 days ago, the information mentioned may be changed or developed.
    IP Count
    180.184.145.7 11353
    180.184.147.195 5781
    106.92.145.252 234

    China Beijing
    Beijing Volcano Engine Technology Co. Ltd.

    前三名的 IP 请求统计,前面两个都是火山引擎的 IP ,不清楚这个是火山引擎自己的爬虫还是卖给用户的云服务器,UserAgent 不带 Bot 而是伪装正常的用户访问,非常鄙视这种行为,网站本身对爬虫无限制,但是将爬虫进行了分类,方便统计有效的用户数据,而这种行为有被恶心到。

    图片说明

    12 replies  •  2025-07-19 14:14:54 +08:00
    nomagick
    nomagick
    Jul 19, 2025
    1
    什么叫伪装

    用 LLM 操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用程序操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用浏览器插件访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用户用 Curl 访问你的网站,UA 是 Curl ,算 bot 还是算正常用户

    世界是在不断发展的,现实和你的假设不一致,你吐槽现实说真恶心,有意义么
    netnr
    netnr
    OP
    Jul 19, 2025
    2
    附一张同一时段的爬虫统计 @nomagick

    abcopp
    abcopp
    Jul 19, 2025
    3
    这个是什么统计
    netnr
    netnr
    OP
    Jul 19, 2025
    4
    UserAgent 识别使用的是 https://github.com/matomo-org/device-detector 数据

    从日志记录看 还特意改了版本号

    H97794
    H97794
    Jul 19, 2025
    5
    @nomagick 的确应该与时俱进...







    netnr
    netnr
    OP
    Jul 19, 2025
    6
    @abcopp ,这是自己站点开发的,UserAgent 识别 + 纯真 IP 解析 + DuckDB + ECharts
    Seanfuck
    Seanfuck
    Jul 19, 2025
    7
    火山有搜索 api 业务的
    ClericPy
    ClericPy
    Jul 19, 2025
    8
    借路问一句

    现在大模型调用浏览器访问网页,遵循 robots 吗
    nomagick
    nomagick
    Jul 19, 2025❤️1
    9
    @netnr 现在无头浏览器,SSL 指纹伪装都是基操,还有大量基于 Chrome 或者 Electron 的各类应用和浏览器, 早就没办法只通过 UA 就精准分类用户了。
    jimages123
    jimages123
    Jul 19, 2025
    10
    现在的基操,都是访问直接先做一段计算工作,要求使用 js 进行计算出结果才能继续访问了
    netnr
    netnr
    OP
    Jul 19, 2025
    11
    @nomagick @jimages123 正规军还是遵循的,至少不会像现在这样故意伪装随机版本号
    abcopp
    abcopp
    Jul 19, 2025
    12
    直接限流吧,根据 ip 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1899 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 07:34 · PVG 15:34 · LAX 23:34 · JFK 02:34
    ♥ Do have faith in what you're doing.