找python爬虫小项目?github给你准备好了!

2019/04/10 10:10
阅读数 157

 

前言

即使我们都是程序员,但我们也并非都会修电脑,都会做酷炫的ppt,都会优化系统卡顿。其实程序员也是分行业、分专业的,就像医生也分内外科、呼吸科、神经科神的。

作为非专业的python选手,或者非专业的爬虫选手,即使我们有一些编程基础,有时想通过代码从网上获取一些信息,也不能徒手就能做,需要借鉴一些成熟的方案、代码。

这就是为什么GitHub现在这么流行的原因。作为小白的一番,今天找到一个非常不错的爬虫收集项目,推荐给大家。

GitHub搜索技巧

网上也有一些分享的再github上搜索项目的技巧,其实,很多都是从官方文档来的。所以,我们想真的精通Github搜索,那么就去给官网链接上查吧。

  • GitHub帮助中心:『https://help.github.com/en/github/searching-for-information-on-github/searching-on-github』

如果觉得英文看着吃力,这里一番也找到一个部分翻译的文章:

  • github 项目搜索技巧-让你更高效精准地搜索项目:『https://www.cnblogs.com/suwanbin/p/12113751.html』

比如,我们要搜爬虫相关的,2020年1月1日以后还有更新的,stars数超过100的,可以用这样的命令:

in:description spider pushed:>2020-01-01 stars:>100

再选择一下排序,会得到这样的结果:

awesome-spider

  • awesome-spider:『https://github.com/facert/awesome-spider』

这其实是一个整理收集爬虫项目的项目,对于一番开篇说的非专业爬虫小户来讲,可以发现很多实用的项目。

不得不说,资源整合的能力有时比创造资源更重要。

我们来看下它收集了哪些项目,有没有你感兴趣的?

A

B

C

D

E

G

H

I

J

K

L

M

N

O

P

Q

R

S

T

V

W

X

Y

Z

#

其他

一番雾语:资源整合的能力有时比创造资源更重要。

免费知识星球:一番码客-积累交流
微信公众号:一番码客
微信:Efon-fighting
网站:http://www.efonmark.com

原文出处:https://www.cnblogs.com/efonfighting/p/12304422.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部