 |
cxbananaJul 2, 2019
1
因为天猫对 selenium 有指纹信息识别，可以尝试捕获下天猫发送过来的 js 文件，修改检测代码，拦截替换下……
|
 |
youxiachaiJul 2, 2019
2
天猫的防爬很先进的.....
你这个模型太简单了...一下下就被设别了.. |
 |
zr8657Jul 2, 2019
3
天猫 cookie 很多的，你确定你添加全了吗，你都用 selenium 了直接登陆完开爬不行吗，一个账号爬个 5、6 页大概就会出验证了
|
 |
yaoye555Jul 2, 2019
4
selenium 已经被淘宝系产品防死了,目前暂时能解决的就是修改 window.navigator.webdriver
|
 |
hoyixiJul 2, 2019
5
能请教下，爬这些电商爬来的数据，怎么变现？很好奇
|
 |
6
可以考虑用测试框架来干这种事，比如在真机上用 airtest
|
 |
misaka19000Jul 2, 2019 via Android
8
试下 puppeter
|
 |
di1012Jul 2, 2019
9
其实你要是想搞到淘宝商品的数据，还不如直接爬一些做代购的公司的网站，人家用的是接口，还稳定
|
 |
lusi1990Jul 2, 2019
10
换成 firefox， 或者使用 puppeteer 试试
https://www.jianshu.com/p/afdabf486b54(然后参考这个) |
 |
yanheqiJul 2, 2019
11
如果要抓 cnbeta 这种网站，能做到吗？
|
 |
annielongJul 2, 2019
12
天猫正常访问还时不时来个验证，
|
 |
13
谢谢大家的回复, 果然用天猫作为练习太难了, /哭 没把握好难度. 实验室的师兄师姐推荐换个网站练习
3 楼说的是 OK 的, 可以登录后直接开爬, 不方便的地方是得显示浏览器界面. 如果不显示浏览器界面的话, 登录这块也是个大难点, 所以我才想着用 cookie 跳过登录,同时不再显示浏览器界面 同时也感谢其他小伙伴们提出的建议, 我会去尝试哒~ 再次感谢大家!! |
 |
LicV587Jul 2, 2019
14
selenium 这种东西，理所当然的会被淘宝系封，连我挂 VPN 访问都会被封。淘宝系现在的体验是越来越差，所以都不要淘宝天猫了
|
 |
limuyan44Jul 2, 2019 via Android
15
连正常访问都可能拦截何况是个爬虫入门都会写的 selenium。。。
|
 |
murmurJul 2, 2019
16
我怀疑淘宝已经走火入魔，现在调试工具已经开始请求 webmidi 这种正常需求不可能用到的技术了，我怀疑是他在枚举当前浏览器支持的是所有技术，来判断你是正常的 chrome 还是在 headless 里
|
 |
2805408253Jul 2, 2019
17
说白就是技术检测 加 行为规则验证。
技术检测就不说了 行为规则：比如正常人浏览一种商品的一页数据，最低也要超过 1 秒钟（极限啊 CAC ）。你搞的爬虫一秒钟上百个页面，当然过不了。（行为规则库还是很强大的） |
 |
ErgeAIAJul 2, 2019
18
别说是爬虫，正常人点都会出现这种验证，搜索几下就让爷休息，疯了
|
 |
wongyusingJul 6, 2019
19
selenium 基本上是没有办法爬取阿里系的网站的
他们会检查你的浏览器的 webdriver 是否为 True。 即使绕过了这个检测，还有各种各样的 js 行为检测 |
1
Select Language