服务器返回400
大家好呀！我经常看到大家在讨论，有时候买了HTTP代理后，还是会遇到被封的烦恼，IP池子可用率也变得极低，成功率断崖式下降，影响了工作进度，严重点的甚至项目都完不成了。那我们该怎么解决这个问题呢?
别慌！！
只要你get到这个小妙招分分钟解决。
一、增效
如何增效，也是有技巧的，如果你只是盲目增高抓取频率，那可能最终的效果会适得其反。
1.适时轮换User-Agent
大家要记住，不同浏览器，甚至是同一浏览器的不同版本，它们的User-Agent都是不一样的。所以，我们可以准备一大堆User-Agent，放在一个列表里。用的时候随机挑一个，这样每次发请求的时候都用不同的User-Agent，这招能帮我们大大降低被封的概率。
2.爬虫策略，要灵活变通
首先，得看看咱们之前被封时网站返回的是哪种HTTP状态码，根据这个来调整咱们的爬虫策略。
HTTP返回码 | 说明 |
302 | 出现302一般有2种情况
|
400 | 客户端错误。客户端协议无法被识别 |
407 | 授权错误，出现407一般有3种情况
|
408 | 目标站不可达。服务端与目标站建连失败，服务端不可达或者当前HTTP代理掉线 |
429 | 请求数超出。隧道产品中用户QPS大于购买的请求数;独享和共享产品中，用户当前的代理tcp连接超出限制数 |
431 | 请求头过大。出现在http代理中，header头部信息过多导致 |
500 | 服务器内部错误 |
503 | 当前代理协议不支持，比如ss代理协议 |
508 | 代理目标站为HTTP代理地址导致死循环。一般不出现 |
例如，我们一直用同一个HTTP代理，短时间内频繁访问同一个网站，很容易就触发反爬了；或者，我们爬虫的速度太快，也容易被识别出来。
那我们该怎么做呢？
降低抓取的频率，调整访问时间间隔：减少访问次数、让访问间隔时长时短时不一、用随机的间隔时间。
二、降本
成本调控也占绝了很大的比重，当然了，效果好还是我们的”初心“，毕竟谁也不想白白花钱，不看到成效吧。
市面上的HTTP代理服务提供商还是非常多的，要找到一家靠谱的也是不容易。
对于HTTP代理服务产品质量的考量，每个人心里都或多或少有个标准，但都离不开
测试
这2个字。
实战测试才能真正体现出IP池子质量的好坏，是否适合我们的业务场景需求。
经过多番测试，我推荐这家的HTTP代理，可以说是米花的少，但是效果最大化了。
测试下来，IP池子可用率在98%左右，带宽2M也够我用，匿名安全什么的不说了，反正整轮业务下来，还蛮圆满。
用了这么2个月下来，中间有个小插曲是，和其他大部分厂商一样，出现了中途可用率下降的阶段，和其他大部分厂商不一样的是，他们能及时给我调整IP池子，反正我的可用率又上去了，客服售后什么的回复我也很快，处理问题的速度可以看出来他们是一手厂商了。
（之前有家厂商，我不点名是谁了，池子可用率下降，我问客服，客服半天没理我，转了售后，售后也半天没给我解决，我趣，能不能干点事了！）
总的来说，目前还没有找到比这家更好的替代品了，其他的要么价格比他们高，但是效果差不了太多；要么价格差不多，但是效果比他们家差多了，给我搞烦了，所以还是会比较推荐使用他们家吧，以后有其他更可以的，我再来。
","gnid":"999c3bac05ec27b33","img_data":[{"flag":2,"img":[{"desc":"","height":"210","title":"","url":"https://p0.ssl.img.360kuai.com/t017c9182c81cdab2c0.png","width":"217"},{"desc":"","height":"230","title":"","url":"https://p0.ssl.img.360kuai.com/t01cc30758fa97ee0ee.png","width":"222"},{"desc":"","height":714,"title":"","url":"https://p0.ssl.img.360kuai.com/t01b041fcc3a63631e9.jpg","width":1280},{"desc":"","height":708,"title":"","url":"https://p0.ssl.img.360kuai.com/t0183781eca8517fa64.jpg","width":1270},{"desc":"","height":335,"title":"","url":"https://p0.ssl.img.360kuai.com/t010755d61fcd59e722.jpg","width":597}]}],"original":0,"pat":"art_src_0,fts0,sts0","powerby":"pika","pub_time":1701424912000,"pure":"","rawurl":"http://zm.news.so.com/5c8aac4c4d9ce7f892081cbc59f41dde","redirect":0,"rptid":"6e308fb9952c8fe6","rss_ext":[],"s":"t","src":"小郑与爬虫采集","tag":[],"title":"天启代理好用吗，用HTTP代理经常被封该怎么办？
刁魏珊2661求解,400错误情况都有哪儿些可能?
阎真卫18296688560 ______ 这个主要是你服务器的问题.400错误,主要是 request header 过大所引起,request过大,通常是由于cookie中写入了较大的值所引起.
刁魏珊2661网页报错有哪些错误?比如说400错误、500错误、404错误 -
阎真卫18296688560 ______ 1xx(临时响应) 表示临时响应并需要请求者继续执行操作的状态码. 100(继续)请求者应当继续提出请求.服务器返回此代码表示已收到请求的第一部分,正在等待其余部分. 101(切换协议)请求者已要求服务器切换协议,服务器已确...
刁魏珊2661uc为什么回显示400 bad requestyour browser sent a reque -
阎真卫18296688560 ______ 是访问什么网页会出现这个问题.若是安卓版本的UC浏览器,建议进入官网(uc.cn)下载最新版的UC浏览器9.9.3安装,看下有无改善到.
刁魏珊2661应用程序中的服务器错误. 请求因 HTTP 状态 400 失败: Bad Request. -
阎真卫18296688560 ______ 你修改了IIS里的 ip地址 开始→管理工具→Internet信息服务(IIS)管理器,选择 本地计算机→网站→默认网站, 右键选择“属性” 在 网站 下面有个 IP地址 你选择 “全部未分配” 确定就好了
刁魏珊2661错误代码:400 服务器发生异常,可能是由于访问权限受限制所引起. 请尝试以下操作: 刷新 或以后再试 返回 到上一页面
阎真卫18296688560 ______ 可能是权限没设置好~ 最起码要有读权限~
刁魏珊2661为什么我选择QQ登录会显示400 - Bad Re -
阎真卫18296688560 ______ 网络服务器问题,没有返回信息
刁魏珊2661iis6.0运行网页,出现http400错误,可以连接到web服务器,但因为地址问题无法找到该页 -
阎真卫18296688560 ______ 你权限设置对了没,网站目录的权限给网站运行的权限 如果准备做web服务器使用,可以找我配置环境
刁魏珊2661http400 - 错误的请求怎么意思????
阎真卫18296688560 ______ IIS状态代码的含义 概要 当用户试图通过 HTTP 或文件传输协议 (FTP) 访问一台正在运行 Internet 信息服务 (IIS) 的服务器上的内容时,IIS 返回一个表示该请求的状态...
刁魏珊2661asp服务器中出现404和403错误代码的原因是什么? -
阎真卫18296688560 ______ 403错误是HTTP状态码的一种,属于“请示错误”,表示服务器拒绝请求.如果在搜索引擎尝试抓取您网站上的有效网页时显示此状态代码,那么,这可能是您的服务器或主机拒绝搜索引擎对其进行访问. HTTP 404 错误意味着链接指向的网页不存在,即原始网页的URL失效,这种情况经常会发生,很难避免,比如说:网页URL生成规则改变、网页文件更名或移动位置、导入链接拼写错误等,导致原来的URL地址无法访问;当Web 服务器接到类似请求时,会返回一个404 状态码,告诉浏览器要请求的资源并不存在.
刁魏珊2661nginx 禁止ip访问 -
阎真卫18296688560 ______ 因为这里面只有一个server域,并且又设置了default标识,因此,此处可能是可以用ip进行访问的.如果想屏蔽掉ip访问,只允许域名访问的话,可以增加如下配置.server { #.... if ( $host ~* ...