文档章节

python 利用爬虫监控百度免费试用网页是否有使用机会

NLGBZJ
 NLGBZJ
发布于 2015/10/20 20:47
字数 342
阅读 184
收藏 10
点赞 0
评论 1

每三分钟爬一次,试了半月,一个邮件都没有,百度的产品,你懂得。代码测试是没有问题的

import requests

import json

import logging

import re

import datetime

import time

import smtplib  

from email.mime.text import MIMEText

import random


#URL='http://120.25.146.222:8002/'

URL ='http://bce.baidu.com/event/worldConference_event.html?qq-pf-to=pcqq.group'

KEY = '抢光了'


mail_host = "smtp.exmail.qq.com" 

mail_user = "*******"

mail_pwd = "******"

to_list = ["*******","******"]

mail_postfix = '内裤穿四年'

subject = "%s 网页已经准备好" % datetime.datetime.now().strftime("%Y-%m-%d")

content = "网站 {0} 已经不含:{1},请速度去抢机会".format(URL,KEY)


log_path="/root/my_app/imon.log"

imon_time = random.randint(30,60)


def log_init(level=logging.DEBUG,

             format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',

             datefmt='%a, %d %b %Y %H:%M:%S',

             filename=log_path,

             filemode='w'):

    logging.info('This is info message')

    logging.warning('This is warning message')    


    

def send_mail(to_list,subject,content):  

    me="hello"+"<"+mail_user+"@"+mail_postfix+">"  

    msg = MIMEText(content,_subtype='plain',_charset='utf-8')  

    msg['Subject'] = subject  

    msg['From'] = me  

    msg['To'] = ";".join(to_list)  

    try:  

        server = smtplib.SMTP()  

        server.connect(mail_host)  

        server.login(mail_user,mail_pwd)  

        server.sendmail(me, to_list, msg.as_string())  

        server.close()  

        return True  

    except Exception as e:  

        print(str(e)) 

        return False 


        

def tag(url,key):

    i=1

    while 1:

        try:

            r = requests.get(url)

            cont =r._content.decode('utf-8')

        except Exception as e:

            logging.error(str(e))

            print(e)

                   

        m = re.search(key,cont)

        print('第{0}次监控'.format(i))

        if not m:

            try:

                print('可以抢了,已经将发送邮件')

                send_mail(to_list,subject,content)

                

            except Exception as e:

                logging.error(str(e))

                print(e)

            time.sleep(120) # 如果发送过邮件等2分支后在发送

        else:

            print('还不能抢')

        

        time.sleep(imon_time)

        i+=1

            


if __name__ == '__main__':

    log_init()

    tag(URL,KEY)


© 著作权归作者所有

共有 人打赏支持
NLGBZJ
粉丝 7
博文 107
码字总数 23939
作品 0
广州
加载中

评论(1)

x
xiatiandefeng
博主写的很好,赞一个,多谢分享 *(^-^*)79
分享一个免费好用的云端爬虫开发平台
http://www.shenjianshou.cn/
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者
04/25
0
0
Python爬虫入门 ,1 Python环境的安装

  这是一个适用于小白的Python爬虫免费教学分享,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源。看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今...

菜鸟学编程
04/23
0
0
这是我最想推荐给程序员们看的基于Python3.4实现的爬虫书

互联网包含了迄今为止最有用的数据集,并且大部分可以免费公开访问。但是,这些数据难以复用。它们被嵌入在网站的结构和样式当中,需要抽取出来才能使用。从网页中抽取数据的过程又称为网络爬...

异步社区
07/11
0
0
聊聊python爬虫开发入门的必备技能

关于爬虫,相信有不少同学都接触过。譬如你通过百度搜索“慕课网”,然后跳转到慕课网的首页,这里你访问的百度首页就用到了爬虫技术,它把慕课网的首页源代码爬取到了搜索引擎服务器中,进行...

NavCat
07/02
0
0
Python异步加载爬虫,护士私密照源源不断,Ajax抓取速度惊人!

利用aiohttp这个库来进行异步协程提速! 如果Python爬虫不仅在代码编写上展现速度,而且在爬取过程中表现出优越感,最好的就是去下载图片吧,而下载图片最好的代表当然是......我就不多说了。...

Python新世界
07/17
0
0
5个python爬虫教材,让小白也有爬虫可写,含视频教程!

认识爬虫   网络爬虫,如果互联网是一张蜘蛛网,网络爬虫既是一个在此网上爬行的蜘蛛,爬了多少路程即获取到多少数据。 python写爬虫的优势   其实以上功能很多语言和工具都能做,但是用...

柯西带你学编程
06/12
0
0
python3爬虫爬取网页图片简单示例

本人也是刚刚开始学习python的爬虫技术,然后本来想在网上找点教程来看看,谁知道一搜索,大部分的都是用python2来写的,新手嘛,一般都喜欢装新版本。于是我也就写一个python3简单的爬虫,爬...

IT民工_柒晓白
2017/10/19
0
1
在技术圈儿混,怎能不关注这几个公众号!

精品公众号订阅,总有几个适合你 AIOps智能运维 ID:AI_Ops ▲长按图片识别二维码关注 百度云智能运维团队官方公众号!我们利用大规模分布式、大数据和机器学习等技术为百度云用户和百度各产...

g2v13ah
03/30
0
0
详解Python开发的发展方向及其对应的薪资!

百度CEO曾表述:靠移动互联网的风口现已没有可能再出现独角兽了,由于市场现已进入了一个相对平稳的发展阶段,互联网人口渗透率现已超过了50%。而未来的机会在人工智能。确实互联网巨头公司在...

Python燕大侠
05/06
0
0
网页抓取/数据抽取/信息提取工具包MetaSeeker的网络爬虫的原理

网络爬虫种类繁多,下面进行很粗略的分类并说明网页抓取/数据抽取/信息提取工具包MetaSeeker中的爬虫属于哪一类。 如果按照部署在哪里分,可以分成: 1,服务器侧:一般是一个多线程程序,同...

Fuller
2009/08/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

sleep与wait的区别

Thread.sleep(XXX)方法消耗CPU吗? 这个知识点是我之前认识一直有错误的一个知识点,在我以前的认识里面,我一直认为Thread.sleep(1000)的这一秒钟的时间内,线程的休眠是一直占用着CPU的时间...

码代码的小司机
10分钟前
0
0
20位活跃在Github上的国内技术大牛 leij 何小鹏 亚信

本文列举了20位在Github上非常活跃的国内大牛,看看其中是不是很多熟悉的面孔? 1. lifesinger(玉伯) Github主页: https://github.com/lifesinger 微博:@ 玉伯也叫射雕 玉伯(王保平),...

海博1600
14分钟前
0
0
Mybatis收集配置

一、Mybatis取Clob数据 1、Mapper.xml配置 <resultMap type="com.test.User" id="user"> <result column="id" property="id"/> <result column="json_data" property="jsonData" ......

星痕2018
41分钟前
0
0
centos7设置以多用户模式启动

1、旧版本linux系统修改inittab文件,在新版本执行vi /etc/inittab 会有以下提示 # inittab is no longer used when using systemd. # # ADDING CONFIGURATION HERE WILL HAVE NO EFFECT ON......

haha360
今天
0
0
OSChina 周日乱弹 —— 局长:怕你不爱我

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @ andonny :分享周二珂的单曲《孤独她呀》 《孤独她呀》- 周二珂 手机党少年们想听歌,请使劲儿戳(这里) @孤星闵月 :没事干,看一遍红楼梦...

小小编辑
今天
192
9
Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式 Factory工厂模式 Singleton单例模式 Delegate委派模式 Strategy策略模式 Prototype原型模式 Template模板模式 Spring5 beans 接口实例化 代理Bean操作 ...

小致dad
今天
0
0
SpringBoot | 第十章:Swagger2的集成和使用

前言 前一章节介绍了mybatisPlus的集成和简单使用,本章节开始接着上一章节的用户表,进行Swagger2的集成。现在都奉行前后端分离开发和微服务大行其道,分微服务及前后端分离后,前后端开发的...

oKong
今天
11
0
Python 最小二乘法 拟合 二次曲线

Python 二次拟合 随机生成数据,并且加上噪声干扰 构造需要拟合的函数形式,使用最小二乘法进行拟合 输出拟合后的参数 将拟合后的函数与原始数据绘图后进行对比 import numpy as npimport...

阿豪boy
今天
17
0
云拿 无人便利店

附近(上海市-航南路)开了家无人便利店.特意进去体验了一下.下面把自己看到的跟大家分享下. 经得现场工作人员同意后拍了几张照片.从外面看是这样.店门口的指导里强调:不要一次扫码多个人进入....

周翔
昨天
1
0
Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
昨天
254
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部