文档章节

python 利用爬虫监控百度免费试用网页是否有使用机会

NLGBZJ
 NLGBZJ
发布于 2015/10/20 20:47
字数 342
阅读 188
收藏 10

每三分钟爬一次,试了半月,一个邮件都没有,百度的产品,你懂得。代码测试是没有问题的

import requests

import json

import logging

import re

import datetime

import time

import smtplib  

from email.mime.text import MIMEText

import random


#URL='http://120.25.146.222:8002/'

URL ='http://bce.baidu.com/event/worldConference_event.html?qq-pf-to=pcqq.group'

KEY = '抢光了'


mail_host = "smtp.exmail.qq.com" 

mail_user = "*******"

mail_pwd = "******"

to_list = ["*******","******"]

mail_postfix = '内裤穿四年'

subject = "%s 网页已经准备好" % datetime.datetime.now().strftime("%Y-%m-%d")

content = "网站 {0} 已经不含:{1},请速度去抢机会".format(URL,KEY)


log_path="/root/my_app/imon.log"

imon_time = random.randint(30,60)


def log_init(level=logging.DEBUG,

             format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',

             datefmt='%a, %d %b %Y %H:%M:%S',

             filename=log_path,

             filemode='w'):

    logging.info('This is info message')

    logging.warning('This is warning message')    


    

def send_mail(to_list,subject,content):  

    me="hello"+"<"+mail_user+"@"+mail_postfix+">"  

    msg = MIMEText(content,_subtype='plain',_charset='utf-8')  

    msg['Subject'] = subject  

    msg['From'] = me  

    msg['To'] = ";".join(to_list)  

    try:  

        server = smtplib.SMTP()  

        server.connect(mail_host)  

        server.login(mail_user,mail_pwd)  

        server.sendmail(me, to_list, msg.as_string())  

        server.close()  

        return True  

    except Exception as e:  

        print(str(e)) 

        return False 


        

def tag(url,key):

    i=1

    while 1:

        try:

            r = requests.get(url)

            cont =r._content.decode('utf-8')

        except Exception as e:

            logging.error(str(e))

            print(e)

                   

        m = re.search(key,cont)

        print('第{0}次监控'.format(i))

        if not m:

            try:

                print('可以抢了,已经将发送邮件')

                send_mail(to_list,subject,content)

                

            except Exception as e:

                logging.error(str(e))

                print(e)

            time.sleep(120) # 如果发送过邮件等2分支后在发送

        else:

            print('还不能抢')

        

        time.sleep(imon_time)

        i+=1

            


if __name__ == '__main__':

    log_init()

    tag(URL,KEY)


© 著作权归作者所有

共有 人打赏支持
NLGBZJ
粉丝 8
博文 119
码字总数 27668
作品 0
广州
私信 提问
加载中

评论(1)

x
xiatiandefeng
博主写的很好,赞一个,多谢分享 *(^-^*)79
分享一个免费好用的云端爬虫开发平台
http://www.shenjianshou.cn/
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者
04/25
0
0
Python爬虫入门 1 Python环境的安装

这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源。看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内...

闰土学Python
07/28
0
0
Python爬虫入门 ,1 Python环境的安装

  这是一个适用于小白的Python爬虫免费教学分享,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源。看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今...

菜鸟学编程
04/23
0
0
网页抓取/数据抽取/信息提取工具包MetaSeeker的网络爬虫的原理

网络爬虫种类繁多,下面进行很粗略的分类并说明网页抓取/数据抽取/信息提取工具包MetaSeeker中的爬虫属于哪一类。 如果按照部署在哪里分,可以分成: 1,服务器侧:一般是一个多线程程序,同...

Fuller
2009/08/30
0
0
这是我最想推荐给程序员们看的基于Python3.4实现的爬虫书

互联网包含了迄今为止最有用的数据集,并且大部分可以免费公开访问。但是,这些数据难以复用。它们被嵌入在网站的结构和样式当中,需要抽取出来才能使用。从网页中抽取数据的过程又称为网络爬...

异步社区
07/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

React和Redux的连接react-redux

通过Redux文档来了解react-redux,在一段时间的实践后准备翻一翻源代码,顺便做些相关的总结。我看的代码的npm版本为v4.0.0,也就是说使用的React版本是0.14.x。 react-redux提供两个关键模块...

前端攻城老湿
43分钟前
1
0
1、Mybatis连接池配置 和 Context.xml的配置

注意: (1)mybatis 3.2 之前 通过 set get 方法 获取相关属性。之后通过属性姓名获取相关关联。 (2)mybatis 映射 优先为 sql 语句中的别名与实体类的属性进行映射。 (3)jndi Java用于调...

KingFightingAn
58分钟前
1
0
Android 界面漩涡扭曲动效实现

背景:之前偶然看到优酷有类似的页面切换动画效果。于是自己也打算来实现下这样的效果。 动效说明:点击界面中的任意位置,界面以点击位置作为中心点,开始以漩涡状态,扭曲,收缩。直到消失...

Carlyle_Lee
今天
2
0
聊聊我怎么系统学习Linux技能并快速提高的

聊聊我怎么系统学习Linux技能并快速提高的 随着电子信息科技时代的发展,学会使用计算机在我们的生活中成为了必不可少的一项技能。而作为计算机中的三大操作系统之一的Linux更是饱受计算机爱...

linuxCool
今天
6
0
Android/Java 获取一个byte[]的真实编码,用于解决乱码问题

来源地址:https://blog.csdn.net/qq_31384551/article/details/81627840 一个byte数组,byte[] buf,是由一个字符串转换来的,如何判断字符串使用的是什么编码? Mozilla的一个组件提供了相应...

她叫我小渝
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部