文档章节

Python针对特定服务定制的代理工具V2.1-------(简述与2.0的区别之处)

henni_719
 henni_719
发布于 2017/04/22 17:11
字数 899
阅读 6
收藏 0

      今天抽时间更新下,把这两个版本都介绍下,版本2.0在版本2.1之前一周写出,由于这周忙于产品上线测试比较忙,关于这个项目的整理一致拖延到今天。

Python针对特定服务定制的代理工具V2.1”是为了解决“Python针对特定服务定制的代理工具V2.0”中输出json数据乱码问题。在这个版本截图如下:


在这个版本中你发现在LIb包中少了zipdeal.py文件。因为这个文件是处理gzip文件的,导致我走了完路,通过网上查阅资料,处理http中使用gzip压缩的解决办法是:

realjson=gzip.GzipFile(fileobj=StringIO(self.rfile.read())).read()
而且也不用创建inputJson目录用来保存json数据。至于实现结果如下图所示:


json数据能正常在屏幕上打印。

Python针对特定服务定制的代理工具V2.0代码中需要改动的文件有:__init__.py、proxyHandler.py这两个文件:

__init__.py:减少“import zipdeal”导入,因为不需要使用这个包。

proxyHandler.py主要区别如下所示

头文件的区别



do_Post方法中的不同:



2.1版本中proxyHandler.py的源码:

#coding=utf8
from BaseHTTPServer import BaseHTTPRequestHandler,HTTPServer
import socket
import urllib,gzip
from StringIO import StringIO
class proxyHandler(BaseHTTPRequestHandler):

    def do_POST(self):
        try:
            #服务响应的链接uri
            #类似http://xdcs-collector.ximalaya.com/api/v1/statistics
            uri = self.path
    
            #根据协议把url分成两部分,一部分是协议,例如http;
            #另一部分是服务和接口:xxx.xxx.com/api/v1/statistics
            #把另一部分内容放入到:   hostAndInterface     
    
            hostAndInterface = urllib.splittype(uri)[-1]
    
            #根据服务器拆分成两个部分,一部分是服务器:xxx.xxx.com
            #另一部分是接口:/api/v1/statistics
            host, interface = urllib.splithost(hostAndInterface)
            #根据/拆分成几个部分,获取最后一个元素的值,例如:statistics
    
            lastOfInterface=interface.split("/")[-1]
            
            #判断接口最后一个字符是否是:statistics,如果是则执行if之后的语句
            if lastOfInterface=='statistics': 
                
                #根据端口号拆分成两个部分:host、port   
                host, port = urllib.splitnport(host)
                
                #如果端口号小于80,把端口号设置为80
                if port < 0:
                    port = 80
                
                #把服务域名转换为服务IP
                host_ip = socket.gethostbyname(host)
                
                #从headers中删除headers['Proxy-Connection']的引用
                # 然后把headers['Connection']设置为'keep-alive'
                del self.headers['Proxy-Connection']
                self.headers['Connection'] = 'keep-alive'
            
                #请求的第一行,把该行数据赋值给send_data变量
                #requestline的格式如:POST http://xxx.xxx.com/api/v1/statistics HTTP/1.1
                send_data = self.requestline
                
                #重新创建个head用来保存新的heads值
                head = ''
                for key, val in self.headers.items():
                    head = head + "%s: %s\r\n" % (key, val)               
                #给请求的数据加上head和请求参数
                send_data = send_data + head+'\r\n'
                
                #创建一个客户端套接字链接
                client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
                #客户端发送连接请求
                client.connect((host_ip, port))
                #客户端发送请求数据
                client.sendall(send_data)
                
                #保存服务端返回的字段
                data = ''
                while True:
                    #把客户端从服务中接收的数据保存到一个临时变量tmp中
                    tmp = client.recv(8192)
                    #判断接收的数据是否为空,如果为空跳出循环
                    if not tmp:
                        break
                    #不为空,把tmp中的数据传递给data
                    data = data + tmp    
                #断开链接
                client.close()
                 
                #把接收到的数据data写入到文件wfile中  
                self.wfile.write(data)

                #self.rfile存放的是请求数据而且数据被gzip
                #对请求中被gzip的数据进行夺取,并输出在屏幕中
                realjson=gzip.GzipFile(fileobj=StringIO(self.rfile.read())).read()
                print realjson
        except Exception,e:
            print e

    def do_CONNECT(self):
        pass
    def do_GET(self):
        pass
    
def test():
    host='192.168.xxx.xxx'
    port=8888
    try:
        server = HTTPServer((host, port), proxyHandler)
        print 'Welcome to the Server HTTP On %s  Port %d...' %(host,port)
        server.serve_forever()
    except KeyboardInterrupt:
        print '^C received, shutting down server'
        server.socket.close()

if __name__ == '__main__':
    test()




© 著作权归作者所有

henni_719
粉丝 2
博文 466
码字总数 343938
作品 0
信阳
QA/测试工程师
私信 提问
基于Docker & Fabric的Web项目部署方案

本文描述了Web项目的两种部署方案,石器时代的ssh & pull & restart方式不做太多说明 1.基于Fabric(Python)的部署方案 Fabric 是一个用于ssh的Python库&命令行工具 Fabric is a Python (2....

Thonatos
2018/08/27
0
0
你想要的Python面试都在这里了【315+道题】

写在前面 近日恰逢学生临近毕业,课程后期大家“期待+苦逼”的时刻莫过于每天早上内容回顾和面试题问答部分【临近毕业每天课前用40-60分钟对之前内容回顾、提问和补充,专挑班里不爱说话就的...

p柯西
2018/06/12
0
0
Python基础面试题80问 Python自动化开发

为什么学习Python? 2. 通过什么途径学习的Python? 3. Python和Java、PHP、C、C#、C++等其他语言的对比? 4. 简述解释型和编译型编程语言? 5. Python解释器种类以及特点? 6. 位和字节的关...

zhouzhou2018
2018/05/24
0
0
起薪2万的爬虫工程师,Python需要学到什么程度才可以就业?

爬虫工程师的的薪资为20K起,当然,因为大数据,薪资也将一路上扬。那么,Python需要学到什么程度呢?今天我们来看看3位前辈的回答。 1、前段时间快要毕业,而我又不想找自己的老本行Java开发...

糖宝lsh
2018/12/15
0
0
米筐开源量化交易框架 —— RQAlpha 2.0 发布

封闭 vs 开源 半年前,RQAlpha 作为 Ricequant 的开源框架1.0在 Github 上发布,得到了许多的关注以及反馈,同时我们也十分感谢开发者的贡献与支持。我们在与众多的开发者的交流中发现RQAlp...

Ricequant
2017/03/15
10.9K
15

没有更多内容

加载失败,请刷新页面

加载更多

mysql免安装版,服务无法启动没有抱任何错误

1.解压 2.新建my.ini [mysqld]# Remove leading # and set to the amount of RAM for the most important data# cache in MySQL. Start at 70% of total RAM for dedicated server, e......

榴莲黑芝麻糊
34分钟前
0
0
Qt编写安防视频监控系统3-通道交换

一、前言 最开始写通道交换的功能的时候,走了很多弯路,比如最开始用最初级的办法,触发交换的时候,先关闭视频,然后设置新的url重新打开视频,这样处理非常低级而且耗内存还卡还很慢,毕竟...

飞扬青云
34分钟前
0
0
如何远程调试部署在CloudFoundry平台上的nodejs应用

网络上关于如何本地调试nodejs应用的教程已经很多了,工具有Chrome开发者工具,Visual Studio Code,和nodejs周边的一些小工具等等。 在实际情况中,我们可能遇到本地运行良好,但是部署到C...

JerryWang_SAP
55分钟前
5
0
微信扫码访问网站调用默认浏览器打开如何实现?

我们在微信内分享链接或二维码的时候,我们会发现我们的网站是可以在浏览器里正常打开的,但就是不能在微信里打开,提示 “ 已停止访问该网页 ”,无论是聊天框也一样。说是系统检测到您的网...

明尼苏达哈士奇
今天
3
0
一份Java程序员进阶架构师的秘籍,你离架构师还差多远

一、如何定义架构师 Java架构师,首先要是一个Java程序员,熟练使用各种框架,并知道它们实现的原理。jvm虚拟机原理、调优,懂得jvm能让你写出性能更好的代码;池技术,什么对象池,怎么解决并...

我最喜欢三大框架
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部