j_hao104的个人页面 - OSCHINA - 中文开源技术交流社区

前言　　在GitHub上维护了一个代理池的项目，代理来源是抓取一些免费的代理发布网站。上午有个小哥告诉我说有个代理抓取接口不能用了，返回状态521。抱着帮人解决问题的心态去跑了一遍代码。...

cookie 浏览器 python html pyv8 v8 fiddler javascript requests javascript引擎 blog https

Python爬虫

2017/03/24 09:00

1.6W

13

Python是开发社区中用于许多不同类型应用的强大编程语言。很多人都知道它是可以处理几乎任何任务的灵活语言。因此，在Python应用中需要一个什么样的与语言本身一样灵活的数据库呢？那就是NoS...

mongodb mongoengine nosql pymongo nosql数据库 python json 关系型数据库 mongo find schema

Python

2016/12/26 14:08

2.5K

0

爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做...

ssdb delete flask python github https 浏览器 redis fetch 分布式爬虫个人博客 util blog

Python爬虫

2016/12/05 09:39

1.2W

5

用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很...

cookie python html server cookies 正则表达式 blog beautifulsoup .net 验证码识别 gzip

Python爬虫

2016/03/25 15:02

7.1W

29

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。同时Xpath在做爬虫时也是一款利器

class xpath html body python scrapy preceding self ancestor following contains sibling price

Python爬虫

2016/03/17 17:53

2.8W

0

今天看了下利用Python发送邮件的教程。发现很多教程讲的都不是很清楚，或者根本运行不起。

python help wiki blog 发送邮件 https html sendmail .net smtp http smtplib mimetext

Python

2016/02/04 13:17

1.4W

9

大多数APP里面返回的是json格式数据，或者一堆加密过的数据。这里以超级课程表APP为例，抓取超级课程表里用户发的话题。

blog .net json http oschina jhao104 header post studentskip logincheckv4 606922python action

Python爬虫

2016/01/20 16:13

7.5W

21

Fiddler，这个是所有软件开发者必备神器！这款工具不仅可以抓取PC上开发web时候的数据包，而且可以抓取移动端(Android,Iphone,WindowPhone等都可以)。

fiddler android https down tools 浏览器 http anquan wlan allowremotecomputerstoconnect baidu

Python爬虫

2016/01/20 13:36

12.2W

3

DockerHub开启付费功能后，自动构建的功能不再免费开放了，这样Github的项目就不能再免费自动构建docker镜像并自动发布到DockerHub上。前言这里记录下使用 GitHub Actions持续集成服务自动...

github docker yml login-action image metadata workflow dockerhub githubactions action step images

其他

2021/12/31 15:33

155

0

如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。 1.readline读所有行使用readlines方法读取所有行: def readline_count(file_name): return len(open(fi...

python readline simple count buff enumerate partial 100m 500m itercount 4c8gpython3 itertools iter

Python

2020/08/12 09:44

175

0

目的简化SSH登陆过程, 实现从机器A登陆机器B只需要运行ssh hostname即可, 即不需要输入用户名和密码。 2. 配置host 配置host的作用是ssh登陆机器时用hostname代替IP, 在机器很多的集群环境中...

hosts known linux hostname sshhostname host trsa keygen keys ping authorized sshuser config name

Linux

2020/05/19 16:14

145

0

依赖 MySqlOperator 的数据库交互通过 MySQLdb 模块来实现, 使用前需要安装相关依赖: pip install apache-airflow[mysql] 2. 使用使用 MySqlOperator 执行sql任务的一个简单例子: from airf...

mysql connect login alex schema airflow conn mysqldb mysqloperator cursors cursor database

Python

2020/04/07 18:03

540

0

简介 Docker是目前主流IT公司广泛接受和使用的，用于构建、管理和保护它们应用程序的工具。容器，例如Docker允许开发人员在单个操作系统上隔离和运行多个应用程序，而不是为服务器上的每个应...

docker flask dockerfile python nginx uwsgi pip 操作系统虚拟机 python3 浏览器 entry

Python

2019/06/28 18:25

951

0

简介图片验证码识别的可以分为几个步骤，一般用 Pillow 库或 OpenCV 来实现，这几个过程是： 1.灰度处理&二值化 2.降噪 3.字符分割 4.标准化 5.识别所谓降噪就是把不需要的信息通通去除，比...

pillow opencv 验证码识别

Python爬虫

2019/02/01 14:51

2.6K

0

异步编程适用于那些频繁读写文件和频繁与服务器交互数据的任务，异步程序以非阻塞的方式执行I/O操作。这样意味着程序可以在等待客户机返回数据的同时执行其他任务，而不是无所事事的等待，浪...

html asyncio python aiohttp javascript index python3 loop session pip 浏览器 https async tasks

Python

2019/01/10 09:28

442

0

Operator——标准功能性操作符接口. 代码中使用迭代器时,有时必须要为一个简单表达式创建函数。有些情况这些函数可以用一个lambda函数实现，但是对于某些操作，根本没必要去写一个新的函数。...

operator python getters lambdax getter lambda sequenceoperators comparisonoperators truediv

Python

2018/12/18 11:05

156

0

装饰器作用 decorator是当今最流行的设计模式之一，很多使用它的人并不知道它是一种设计模式。这种模式有什么特别之处? 有兴趣可以看看Python Wiki上例子，使用它可以很方便地修改对象行为，...

django login 设计模式 javascript框架身份验证 timeit jquery required decorator pythonwiki

Django

2018/07/03 15:32

1.6K

2

itertools 用于更高效地创建迭代器的函数工具。 Python版本 3.x itertools 提供的功能受Clojure，Haskell，APL和SML等函数式编程语言的类似功能的启发。它们的目的是快速有效地使用内存，并且...

repeat chain python compress 函数式编程语言 haskell clojure accumulate itertools dropwhile

Python标准库

2018/06/14 15:27

808

0

functools 作用于函数的函数 functools 模块提供用于调整或扩展函数和其他可调用对象的工具，而无需完全重写它们。装饰器 partial 类是 functools 模块提供的主要工具, 它可以用来“包装”一...

cache python3 reduce wrapper update python2 clear python func updates partial functools lru_cache

Python标准库

2018/05/11 12:04

1K

0

struct模块提供了用于在字节字符串和Python原生数据类型之间转换函数，比如数字和字符串。　　该模块作用是完成Python数值和C语言结构体的Python字符串形式间的转换。这可以用于处理存储在...

python 格式化字符串正则表达式 notes c编译器 short integer struct none standard endian

Python标准库

2018/04/19 11:03

1K

0

j_hao104

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

j_hao104

开源项目作者

渐入佳境

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈