yangguang31466
V2EX  ›  问与答

用 python 爬取 什么值得买网站 返回 403,爬其他网站的时候返回 200,这个是怎么回事?

  •  
  •   yangguang31466 · Apr 20, 2015 · 5193 views
    This topic created in 4229 days ago, the information mentioned may be changed or developed.

    代码请求头里面加了user-agent,请求其他网站没有问题!

    9 replies  •  2015-04-27 16:49:52 +08:00
    yangguang31466
    yangguang31466
    OP
    Apr 20, 2015
    1
    被服务器拒绝了,怎么才能解决这个问题?
    NewYear
    NewYear
    Apr 20, 2015
    2
    这个站长好像也是V2的人……
    Tink
    Tink
    Apr 20, 2015 via iPhone
    3
    从rss试试
    learnshare
    learnshare
    Apr 20, 2015
    4
    防爬虫做的不错
    wibile
    wibile
    Apr 20, 2015
    5
    可以啊,试了试没问题的,加上cookie就行了。另外好像都是奇数的帖子,如667459,667409,667387
    jas0ndyq
    jas0ndyq
    Apr 20, 2015 via iPhone
    6
    没伪装成浏览器?
    binux
    binux
    Apr 20, 2015
    7
    现在张大妈的反爬虫做得不错,用了一个和 IP 相关的,需要执行 JS 生成的 cookie 来验证。
    kchum
    kchum
    Apr 20, 2015 via iPhone
    8
    Selenium.
    yangguang31466
    yangguang31466
    OP
    Apr 27, 2015
    9
    加上cookie后就可以了!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   936 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 20:19 · PVG 04:19 · LAX 12:19 · JFK 15:19
    ♥ Do have faith in what you're doing.