文档章节

HTTPConnectionPool(host:XX)Max retries exceeded with url 解决方法

_Change_
 _Change_
发布于 2018/10/17 15:04
字数 218
阅读 67
收藏 0

HTTPConnectionPool(host:XX)Max retries exceeded with url 解决方法

在做双十一压测时,高并发调用requests时报错.问题解决方法

问题原因

是因为在每次数据传输前客户端要和服务器建立TCP连接,为节省传输消耗,默认为keep-alive,即连接一次,传输多次,然而在多次访问后不能结束并回到连接池中,导致不能产生新的连接,headers中的Connection默认为keep-alive,将header中的Connection一项置为close.

resp = requests.post(url, headers={"Connection": "close"})

© 著作权归作者所有

共有 人打赏支持
_Change_
粉丝 15
博文 137
码字总数 78396
作品 0
普陀
QA/测试工程师
私信 提问
scrapy爬虫时HTTPConnectionPool(host:XX)Max retries exceeded with url 解决方法

问题1:爬虫多次访问同一个网站一段时间后会出现错误 HTTPConnectionPool(host:XX)Max retries exceeded with url '<requests.packages.urllib3.connection.HTTPConnection object at XXX......

fang_faye
2018/10/26
0
0
Python爬虫:爬取资源站点列表

发现某站点文章很多,爬取所有文章名和链接,并保存在txt文档中,方便后续查看 #!/usr/bin/python -- coding: UTF-8 -- import urllib,urllib2,re,requestsimport sysreload(sys)sys.setdef...

M四月天
2018/06/26
0
0
python2.7用socks和socket设置代理

   接下来是最近遇到的一个代理问题。 背景:一个基于python2.7的自动化测试项目 目的:因调试需求,需要通过代理连接其他公司的前端网站,来检验项目运行所在的问题。 问题:RUN>等了1分...

李有病
2018/08/06
0
0
在用Python进行图片抓取时,request出现以下的错误信息

在进行Python网页图片抓取时,出现以下错误信息,烦请各位大佬指教一下这个错误如何解决: Traceback (most recent call last): File "D:\JAVA\workspace\pachong\pachong\__init__.py", lin......

朱季谦
2018/06/06
213
1
openstack手动安装时在glance中上传image出现了错误,请问如何解决

错误如下: [root@controller opt]# openstack --debug image create "cirros" --file cirros-0.3.4-x86_64-disk.img --disk-format qcow2 --container-format bare --public START with opt......

rocky222
2016/08/03
3.1K
1

没有更多内容

加载失败,请刷新页面

加载更多

MongoDB

关于MongoDb 1、MongoDB是一个开源的、基于分布式的、面向文档存储的非关系型数据库。 2、是非关系型数据库当中功能最丰富、最像关系数据库的。 3、由C++编写, MongoDB可以运行在Windows、u...

谢思华
9分钟前
0
0
Node.js 进程平滑离场剖析

本文由云+社区发表 作者:草小灰 使用 Node.js 搭建 HTTP Server 已是司空见惯的事。在生产环境中,Node 进程平滑重启直接关系到服务的可靠性,它的重要性不容我们忽视。既然是平滑重启,就涉...

腾讯云加社区
16分钟前
0
0
druid等 olap框架对比分析

简介 Druid 是一个开源的,分布式的,列存储的,适用于实时数据分析的存储系统,能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。 Druid在设计时充分考虑到了高可用性,各种节点挂掉...

hblt-j
16分钟前
0
0
Idea 禁用代码重复等警告

在相应方法上添加注解 @SuppressWarnings("action") @Transactional@SuppressWarnings("Duplicates")public void analyzeDpBook(DpBook dpBook) { EpubBook _epubBook = epubBookSe......

lemos
19分钟前
0
0
MaxCompute studio与权限那些事儿

背景知识 MaxCompute拥有一套强大的安全体系,来保护项目空间里的数据安全。用户在使用MaxCompute时,应理解权限的一些基本概念: 权限可分解为三要素,即主体(用户账号或角色),客体(表/...

阿里云官方博客
21分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部