systemcall
V2EX  ›  问与答

现在访问一些“非法”网站会被劫持到反诈提醒,想知道他们是怎样识别浏览器和 curl 之类的工具的

  •  
  •   systemcall · Dec 1, 2022 · 2370 views
    This topic created in 1321 days ago, the information mentioned may be changed or developed.

    现在我这边在没有开代理的情况下,访问一些“非法”网站,像 YouTube 、推特之类的,都会被尝试劫持到反诈提示。方式似乎是 DNS 污染。
    网站看上去非常简陋,但是似乎做了很多严格的限制,不仅只能用浏览器访问,而且 IP 似乎会变动
    尝试使用 curl 进行访问,直接会超时,根本没有到握手的那步
    我知道 HTTPS 连接可以通过识别 TLS 指纹来鉴别,但是 HTTP 连接应该没有 TLS 指纹吧

    11 replies    2022-12-02 20:22:22 +08:00
    ysc3839
        1
    ysc3839  
       Dec 2, 2022
    估计是看 user agent 的吧
    dcsuibian
        2
    dcsuibian  
       Dec 2, 2022
    不懂,但会不会是重定向问题?
    systemcall
        3
    systemcall  
    OP
       Dec 2, 2022
    @ysc3839 #1
    UA 加了参数试过了

    @dcsuibian #2
    浏览器里面单独打开那个 IP 都行,但是 curl 里面加不加 refer 、加不加 host 都没有用
    liyang5945
        4
    liyang5945  
       Dec 2, 2022
    抓包看啊
    proxytoworld
        5
    proxytoworld  
       Dec 2, 2022
    @systemcall 来个 url 我试试
    systemcall
        6
    systemcall  
    OP
       Dec 2, 2022
    @proxytoworld #5
    我这边的,有一个是 223.75.236.241
    systemcall
        7
    systemcall  
    OP
       Dec 2, 2022
    @proxytoworld #5
    看上去做的很粗糙,但是似乎是做了很强的识别的,不是“常规”访问似乎都会被拦截。可能只有湖北才能触发吧,也许要用当地 DNS 服务器先进行一下 DNS 查询,才会对你的 IP 打开连接
    xieqiqiang00
        8
    xieqiqiang00  
       Dec 2, 2022
    AoEiuV020CN
        9
    AoEiuV020CN  
       Dec 2, 2022
    f12 网络 复制为 curl , 直接发起一模一样的请求,
    如果能通,再一个一个参数删减排查,
    如果不能通,那直接排除应用层的问题,只能是更底层的判断了,
    proxytoworld
        10
    proxytoworld  
       Dec 2, 2022
    @systemcall wireshark 看了一下,用浏览器访问,tcp 请求会报`tcp retransmission`错,但貌似浏览器忽略了这个错,之后成功 GET ,用 curl 的时候 tcp 也是和上面一样的错,可能 curl 没有 handle 这个错,
    systemcall
        11
    systemcall  
    OP
       Dec 2, 2022
    @AoEiuV020CN #9
    curl 的行为和浏览器还是有区别,似乎没办法模仿出来
    @proxytoworld #10
    naiveproxy 复用了 chrome 的网络栈,能否通过 naiveproxy 做一个可以真正模拟浏览器请求的 curl ?
    毕竟在这里就发现了 curl 和浏览器不一样的点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3060 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 13:19 · PVG 21:19 · LAX 06:19 · JFK 09:19
    ♥ Do have faith in what you're doing.