详解selenium + chromedriver 被反爬的解决方法

问题背景:这个问题是在爬取某夕夕商城遇到的问题,原本的方案是用selenium + chromedriver + mitmproxy开心的刷,但是几天之后,发现刷不出来了,会直接跳转到登陆界面(很明显,是遭遇反爬了)

讲实话,这还是第一次用硒被反爬的,于是进行大规模的测试对比。

同台机器,用铬浏览器正常访问是不用跳转到登陆界面的,所以不是IP的问题。再用提琴手抓包对比了一下两个请求头,请求头都是一样的,所以忽略标头的反爬。

最后通过分析,可能是硒被检测出来了。于是就去查资料。大概的查到是和webdriver的有关系的。因为这个在服务端是可以检测到的。于是通过fiddler抓包,全局搜索了一下webdriver,发现在js中果然是有判断的。导致selenium爬取的时候,被转到登陆界面。

解决方法:mitmproxy

因为mitmproxy可以拦截请求,所以在响应中,将包含的webdriver的JS中的关键字替换成其他的字符就可以了。

  if "/_next/static/js/common_pdd" in flow.request.url:
    flow.response.text = flow.response.text.replace("webdriver", "userAgent")

我是这样替换的。这样js解析的参数就变了,问题花刃而解。可以正常爬取数据了。

另外国外网上也有很多方法,比如修改webdriver里的一些特定参数名称,我尝试了一下,没有生效。

到此这篇关于详解selenium + chromedriver 被反爬的解决方法的文章就介绍到这了,更多相关selenium chromedriver反爬内容请搜索179885.Com以前的文章或继续浏览下面的相关文章希望大家以后多多支持179885.Com!

猜你在找的详解selenium + chromedriver 被反爬的解决方法相关文章

看了许多关于PyTorch的入门文章,大抵是从torchvision.datasets中自带的数据集进行训练,导致很难把PyTorch运用于自己的数据集上,真正地灵活运用PyTorch,本文详细
今天给大家带来一个不是那么实用的小工具-天气查询,文中详细介绍了如何实用Python实现天气查询系统,需求的大佬可以参考下
根据网站URL的规律编写的一个爬取天气网卫星图片的python爬虫,使用了requests包,感兴趣的朋友可以参考下
很多时候简繁体转换,掌握了简体与繁体的转换,往往能够事半功倍,本文主要介绍了Python实现简繁体转换,感兴趣的可以了解一下
拼音转换指的是将汉字转为拼音的过程。本文介绍了Python实现拼音转换,具有一定的参考价值,感兴趣的程序猿们可以参考一下
人脸磨皮是最基础的人脸美颜效果。本文介绍了OpenCV-Python实现人脸磨皮算法,主要包括图像滤波,图像融合和图像锐化,感兴趣的可以了解一下
直方图均衡化可以达到增强图像显示效果的目的。最常用的比如去雾。本文就来实现直方图均衡化实现图像去雾,感兴趣的可以了解一下
json.loads()用于解析一个有效的JSON字符串并将其转换为Python字典,json.load——()用于从一个文件读取JSON类型的数据,然后转转换成Python字典,本文讲解下python中两
介绍了使用pycharm运行flask应用程序,首先大家需要使用pycharm创建你的第一个app,接下来就开始配置pycharm,需求的大佬可以参考下
今天给大家介绍的是Python列表和字典的相关知识,文中对Python字典和列表的性能作了充分的比较,好奇的程序猿们一起来看看吧,需求的大佬可以参考下
对于文件的比较一般有几种,比如比较文件的内容,比较文件的大小,或者直接对比整个项目文件,本文就详细的介绍这些方法的实现,感兴趣的可以了解一下
pyenv是管理python版本的工具。安装pyenv后,可以管理各种python版本,并且各个版本的环境完全独立,互不干扰。今天通过本文给大家分享Python中Pyenv virtualenv插件的