文档章节

脚本转换小结——从js转为python

sskicgah
 sskicgah
发布于 2017/05/21 23:26
字数 1556
阅读 81
收藏 0

背景

上一篇提到的用户脚本,其实就是用来做一个网页挂机游戏的挂机脚本,有开着电脑,就可以开着网页挂机,机制也比较简单,定时发请求,检查请求,对于一些事件做处理,比如到了什么时间点该触发什么操作。由于本机firefox游戏打不开了,chrome经常莫名其妙地崩溃,于是改为用python来挂机,差不多,用的系统资源还少一些,毕竟chrome内存怪兽不是白叫的。js是本人工作中比较边角的语言,用的不多,python只是自学后用来简单抓取网页的,用的也不多。昨天用来一天时间写代码+测试,也是花了很久,下面简单介绍一下遇到的坑与注意点。

正文

1.定时器的选择

可以使用timer,sched,我选择用apscheduler。用pip install apscheduler之后,自动安装3.3.1版本,和2.x的是不一样的,主要提供了几个类型的定时器,这里的场景可以选择BlockingScheduler或BackgroundScheduler,简单的使用场景,试了一下都行。由于这里代码在运行过程中,需要人工输入命令来执行某些操作,BlockingScheduler试了一下输入没反应,于是使用后台任务BackgroundScheduler。js中用的是setTimeout来做延迟,python中直接使用time.sleep()就可以了。

关于这里的输入命令执行某个操作的代码,在windows下用了msvcrt,样例如下代码:

# -*- coding: utf-8 -*-
import time,datetime,msvcrt
from apscheduler.schedulers.background import BackgroundScheduler

scheduler = BackgroundScheduler()

def opt():
    scheduler.add_job(opt1, 'interval', seconds=6)
    scheduler.add_job(opt2, 'interval', seconds=9)
    scheduler.start()

def opt1():
    print('opt 1')

def opt2():
    print('opt 2')

if __name__ == '__main__':
    opt()
    flag = True
    print(u'输入:b-操作1;c-清屏标记;d-操作2;q-退出')
    while flag:
        op = msvcrt.getch().decode(encoding='utf-8')
        print(op)
        if op == 'b':
            opt1()
        elif op == 'c':
            print()
            print(u'============== %s: 间隔清屏 ==============\r\n' % datetime.datetime.now())
        elif op == 'd':
            opt2()
        elif op == 'q':
            flag = False
        else:
            print('other ok!')
        time.sleep(1)

    scheduler.shutdown()

在使用定时任务的过程中,遇到了2种类型的错误,一个是maximum number of running instances reached (1),一个是apscheduler.executors.default:Run time of job "xxx" was missed by xxx。miss的这种错误,导致后面的程序不再执行了,进入一种假死状态,网上搜了一下,在官方说明中看到跟miss有关的配置,目前暂时没触发假死的状态,就是改了初始化,设置几个默认参数,比如misfire_grace_time,比如max_instances。对于misfire_grace_time,实际要设置什么值才有效还没探索出来。初始化的例子如下:

scheduler = BackgroundScheduler({
'apscheduler.executors.processpool': {'type': 'processpool','max_workers': '10'},
'apscheduler.job_defaults.coalesce': 'false','apscheduler.job_defaults.max_instances': '10',
'apscheduler.job_defaults.misfire_grace_time':20})

2.http请求的选择

可以用urllib,urllib2,httplib,我选择httplib2。js中直接封装一个ajax调用。

function ajax(options) {
    options = options || {};
    options.type = (options.type || "GET").toUpperCase();

    if (window.XMLHttpRequest) {
        var xhr = new XMLHttpRequest();
    } else { //IE6及其以下版本浏览器
        var xhr = new ActiveXObject('Microsoft.XMLHTTP');
    }

    xhr.onreadystatechange = function () {
        if (xhr.readyState == 4) {
            var status = xhr.status;
            if (status >= 200 && status < 300) {
                options.success && options.success(xhr.responseText, xhr.responseXML);
            } else {
                options.fail && options.fail(status);
            }
        }
    }
    
    xhr.open(options.type, options.url, true);
    if (options.type == "GET") {
        xhr.send(null);
    } else if (options.type == "POST") {
        xhr.setRequestHeader("Content-Type", "application/x-www-form-urlencoded");
        xhr.send(options.params);
    }
}

function httpGetTest() {
    ajax({
        url: url,
        type: "GET",
        success: function (response, xml) {
        },
        fail: function (status) {
        }
    });
}

function httpPostTest() {
    ajax({
        url: url,
        type: "POST",
        params: 'a=1&b=2&c=3',
        success: function (response, xml) {
        },
        fail: function (status) {
        }
    });
}

python中这样使用

h = httplib2.Http()
#resp里面就是请求头的信息,content是具体内容,比如返回的是json字符串等,这里是字符类型,默认是get请求
(resp, content) = h.request(url)

#post请求,假装用的是chrome
(resp, content) = h.request(url, 'POST', 'a=1&b=2&c=3', headers={'Content-Type': 'application/x-www-form-urlencoded', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'})

3.其他遇到的问题

3.1字符、整型

js中字符拼接整型,直接用+拼接,python中需要转换类型,比如'str = ' + str(123)

3.2日期、时间戳

js中var d = new Date(timestamp) 和 d.getTime() 可以设置时间、获取长整形时间戳,python中d = time.localtime(timestamp) 和 round(time.time()) 可以设置时间、获取长整形时间戳

3.3判断非空问题

js判断一个object是否为空,function isEmpty(e) { for(var t in e) return !1;    return !0;} python中判断数组、元组、字典就是 if not obj 就可以了。js判断object中是否包含某个key,需要遍历整个结构,python中if key in obj  或者 if key not in obj就可以了。

3.4类方法

python中调用类定义的某个方法,需要self.fun1(),如果直接fun1()会提示全局没有这个函数。如果函数定义的时候没传self,外部调用也是会失败的。

class Test():
    def __init__(self):
        print('init')
    def func1(self, a):
        print(a)
    def func2(self, b):
        self.func1(b)
        print(b)

3.5json

js中json转换完可以直接obj.a,obj.b取值,python中,data = json.loads(str)   用data['a']获取值,其实就是字典。如果是json数组,就是data[i]['a']

3.6数组赋值

简单一点就是用循环赋值,也可以用另外一种方式

size = 10
#所有数组元素初始化为0
arr = [0] * size

#循环赋值
for i in range(size):
    arr[i] = i

#另外一种赋值
arr = [i for i in range(size)]

#从对象数组取值
objs = [{'a':1,'b':2},{'a':2,'b':3},{'a':3,'b':4}]
arrb = [objs[i]['a'] for i in len(objs)]

#另外一个相对较灵活的例子
arr = [13,13,14,15,15,16,16]
l = len(arr)
ts = [ arr[i * 2] if i < (l+1)/2.0 else arr[(l - i) * 2 - 1] for i in range(l) ]

3.7输出字典

用ppring。p = pprint.PrettyPrinter(indent=4)  p.pprint(obj)

用ppring的原因是不知道怎么输出print('obj = %r' % obj),后来知道了用%r,这个万能格式

3.8urlencode字符解码

python中没有urldecode,但是有unquote。只有在windows环境测过,不知道linux环境是什么样的输出。主要还是乱码问题比较麻烦,正常汉字都不会有问题,如果里面有其他特殊字符,print输出会报错。注释的是没其他字符的,正常输出,在有非汉字的其他字符时,try里面的print会报错,如果没有这个print,try模块后面的print会报错,也是说在执行print之前,编码出问题是没检查到的。

s = '%F0%9F%9A%80YaN'#'%E4%B8%AD%E6%96%87'
ss = ''
try:
    ss = unquote(str(s)).decode('utf8', 'ignore')
    print ss + '!!!!'
except:
    ss = unquote(str(s)).decode('gbk', 'ignore')
print ss

暂时就这些,完。

© 著作权归作者所有

共有 人打赏支持
sskicgah

sskicgah

粉丝 7
博文 43
码字总数 32720
作品 0
福州
程序员
私信 提问
Python3好用的原生api

读取特定目录下所有的文件夹, 和文件名 os.walk("./")是我最喜欢的api之一, 作用是获取某个路径下,所有的文件夹和文件的路径, 如果你是一个喜欢写脚本的人, 那这个api或许能帮你更优雅的实现...

木子昭
07/31
0
0
Stack Overflow 最流行的编程语言和标签

我们分析了Stack Overflow的标签(tag)以了解最流行的编程语言,并在更大的语言范围内统计了大家关心的问题来进一步了解子标签。 最流行的编程语言莫过于Java了,之后是Javascript,C#,PHP...

oschina
2015/09/29
8K
35
北京外企诚聘 c++/java/python 开发工程师

有兴趣可以msn联系:xkjack@msn.com 或者发邮件到:jack.xiao@careerelite.net 软件开发工程师 Java / JavaScript / Ajax / C / C++ / Python / Django / SQL 工作职责 利用尖端的技术和实践...

hrjack
2010/07/09
738
4
python爬虫日志(11)--json简单了解

一开始写爬虫的时候并不知道这个东西,后来写的爬虫逐渐复杂了,json出现的次数也多了起来,这让我很好奇,于是我百度了一下,对于json百度是这样解释的 看完是不是有点懵?我当时也是完全不...

茫羽行
07/30
0
0
Python 与 Javascript 之比较

最近由于工作的需要开始开发一些Python的东西,由于之前一直在使用Javascript,所以会不自觉的使用一些Javascript的概念,语法什么的,经常掉到坑里。我觉得对于从Javascript转到Python,有必...

naughty
2014/05/13
0
39

没有更多内容

加载失败,请刷新页面

加载更多

linux中shell if 判断总结

UNIX Shell 里面比较字符写法 -eq 等于; -ne 不等于; -gt 大于; -lt 小于 ; -le 小于等于; -ge 大于等于; -z 空串; -n 非空串; = 两个字符相等; != 两个字符不等 无论什么编程语言都离不开条...

linuxprobe16
18分钟前
0
0
我是如何将博客转成PDF的

前言 只有光头才能变强 之前有读者问过我:“3y你的博客有没有电子版的呀?我想要份电子版的”。我说:“没有啊,我没有弄过电子版的,我这边有个文章导航页面,你可以去文章导航去找来看呀”...

Java3y
20分钟前
1
0
nginx的一些总结

Linux下安装Nginx完整教程及常见错误解决方案 1.Nginx安装环境 Nginx是C语言开发,建议在linux上运行,本教程使用Centos7.0作为安装环境. 1)gcc 安装nginx需要先将官网下载的源码进行编译,编译...

Yao--靠自己
27分钟前
1
0
Predicate函数式接口

Predicate接口主要用于流的筛选,比如在filter方法中传入Predicate判断。 作为函数式接口,这里居然有三个default方法,一个static方法,子孙满堂! 正统的接口方法,就是boolean test(T t)...

woshixin
28分钟前
1
0
sql 开窗函数

开窗函数:在开窗函数出现之前存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在 2003 年 ISO SQL 标准加入了开窗函数,开窗函数...

hblt-j
38分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部