python 使用 requests 库, 抓取 网站, chunk 报 IncompleteRead异常解决方案

原创
2017/03/27 20:00
阅读数 715

1. 首先在网上搜, 搜到 http://blog.csdn.net/wangzuxi/article/details/40377467  python requests接收chunked编码问题  这篇文章, 按文中所说 加断点, 发现拦截不到

2. 只能自己一点一点跟踪, 发现

requests\packages\urllib3\response.py 故障点在这
535 行 收到"" chunk 报异常

        try:
            self.chunk_left = int(line, 16) #zn123 chunk="" raise Exception
        except ValueError:
            # Invalid chunked protocol response, abort.
            self.close()
            raise httplib.IncompleteRead(line)
			

一样的问题, 对方服务器返回chunk块不标准, 不返回 0\r\n\r\n

只能修改这个库

判断一下line 是否为"", 及解决了这个bug
            

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部