1、数学计算： n的m次方：n**m n除以m的整数值：n // m n除以m的浮点值：n / m Python还支持复数，复数由实数部分和虚数部分构成，可以用a + bj,或者complex(a,b)表示， 复数的实部a和虚部b...

今天在学习设计模式的时候突发奇想，可不可以实现JAVA中的一些内容呢？ 比如 final。 final在Java中是一个保留的关键字，可以声明成员变量、方法、类以及本地变量。一旦你将引用声明作final...

Python中的几种定义类方法：常规方式，@property修饰方式，@classmethod修饰方式，@staticmethod修饰方式。 class Test(object): def __init__(self): self.name = 'eappo' def fun(self,......

需求 在处理反爬虫问题时，第一想到的就是代理，但是代理往往需要付费，虽说网上有免费的代理，但是此类代理使用过程中有效性往往需要判断，对实际的爬取应用来说，会影响效率，在此通过获取...

is 用于判断两个变量引用对象是否为同一个， == 用于判断引用变量的值是否相等。 id()函数是查看该对象所在内存地址。 各对象的值一样，则 x == y 的值一定为True； 如果对象的类型为整数或字...

构造选择器 Scrapy选择器是通过文本(Text)或 TextResponse 对象构造的 Selector 类的实例。 它根据输入类型自动选择最佳的解析规则（XML vs HTML）： >>> from scrapy.selector import Sele...

Python 获得命令行参数的方法 需要模块：sys 参数个数：len(sys.argv) 脚本名： sys.argv[0] 参数1： sys.argv[1] 参数2： sys.argv[2] 解析命令行参数 Python提供了一个getopt模块，可用于解...

下载： https://www.mongodb.com/download-center#community 安装： E:\MongoDB 配置： 启动（相当于服务器） 命令行输入mongod --dbpath E:\MongoDB\bin 浏览器输入：http://localhost:2701...

CookieJar 我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。 CookieJar类有一些子类，分别是FileCoo...

pymysql连接mysql5.7爆出错误： 更换root密码的认证方式 新版mysql使用的caching_sha2_password，换成mysql_native_password就可以连上了。 步骤: 通过mysql -u root -p *****，启动mysql； ...

更新apt-get sudo apt-get update 此时，有些情况下会出现 “sudo apt-get update无法获得锁，无法对目录加锁”，那么请看下一步。 E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不...

需求 1、爬取链接：http://www.dytt8.net/ 2、爬取内容： i、分类：-->mysql <a href="http://www.ygdy8.net/html/gndy/dyzz/index.html">最新影片</a></li><li> <a href="http://www.ygdy8...

【作者】彭端淑 【朝代】清 天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。 吾资之昏，不逮人也，吾材之庸，不逮人...

就在几天前，react更新0.56.0版本，window上出现BUG，具体如下： F:\AAAA\node_modules\react-native\local-cli\cliEntry.js:30 import type {CommandT} from './commands'; ^^^^ SyntaxErro...

Spiders参数 spiders可以通过接收参数来修改其爬取行为。crawl 通过使用选项 -a 传递爬虫参数。 scrapy crawl myspider -a category=electronics spiders 在构造函数中接收参数： import scr...

短信轰炸，顾名思义就是让目标手机号不断接收短信，造成手机卡顿。 为了实现轰炸效果强烈，这里用多线程实现。 from selenium import webdriver import time from threading import Thread ...

在做动态网页爬虫时用到了selenium + PhantomJS,安装好之后运行时报错: E:\Python3\python.exe F:/PyCharmWorkspace/MessageBoom/TestPhantomjs.py E:\Python3\lib\site-packages\selenium...

爬虫原理 创建一个以百度为名的爬虫，其中spiders/baidu.py内容如下： # -*- coding: utf-8 -*- import scrapy class BaiduSpider(scrapy.Spider): name = 'baidu' allowed_domains = ['www...

配置参数 系统层面： E:\Python 3.6.2\Lib\site-packages\scrapy\templates\project, 用户层面：~/.config/scrapy.cfg ($XDG_CONFIG_HOME) 及 ~/.scrapy.cfg ($HOME) 作全局设置 项目定义： ...

Scrapy架构 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下： Scrapy主要包括了以下组件： 引擎(Scrapy) 用来处理整个系统的数据流, 触发事务(框架核心) 调度器(Schedule...