文档章节

大数据、机器学习和深度学习类命令行工具

编辑部的故事
 编辑部的故事
发布于 2017/03/01 15:57
字数 1402
阅读 2284
收藏 133

握紧你的键盘!在 OSX 和 LInux 上无需使用鼠标或 GUI ,也可以完成大量的操作。极具人气的面向各类NX系统的命令行工具目前已经扩展至Python、Go、NodeJS 乃至各类混合型工具当中。即使您并不打算通过命令行来运行整条数据处理管道,这些工具依旧可以带来很大的帮助。

《 Data Science at the Command Line》一书与 GitHub 统计了大量高质量用于预处理和后处理类的工具,并且根据需要可以进行适当的转换。在本文中,将为大家推荐一些工具。

输入图片说明

CSVKit 是如此神奇!它使用逗号分隔值执行所需的一切。 您可以通过 cvs cut 剪切列,使用 cvsgrip 过滤列,通过 sql2csv 将数据从 Postgresql 提取到 CSV,使用 cols 获取列的子集,并使用 in2cv 将 Excel 转换为CSV。

快速工具推荐:

1、agate —— Python 数据分析库。

agate 原名为 journalism。是针对人而不是机器优化的 Python 数据分析库。它是 numpy 和 pandas 的一种替代方法,它用可读的代码解决现实中的问题。

2、ImageMagick —— 从命令行编辑,创建,转换,翻转和更改图像。

ImageMagick 是一个用来创建、编辑、合成图片的软件。它可以读取、转换、写入多种格式的图片。图片切割、颜色替换、各种效果的应用,图片的旋转、组合,文本,直线, 多边形,椭圆,曲线,附加到图片伸展旋转。ImageMagick 的大多数功能的使用都来源于命令行工具。

3、json2csv——JSON 转换成 CSV。

用json2csv我们可以轻松把JSON转换成CSV。

4、XML2JSON

xml2json 是一个 header-only 的 C++ 库,用来将 XML 文档转成 JSON 格式。它是高性能的--在商业硬件上3ms可以转换一个150KB的字幕文件。

**5、IMGKit—— 将网页转换成图片的 Python 库。 **

IMGKit 是一个 Python 2/3 的库,使用它我们可以将网页转换成图片,输入可以是网址,HTML 文件或者字符串。

**6、wkhtmltopdf—— HTML到PDF的文档转。 **

wkhtmltopdf 是一个使用 WebKit 网页渲染引擎开发的用来将 HTML 文档转成 PDF 文档的工具,可以跟多种脚本语言进行集成来转换文档。

使用方法:wkhtmltopdf www.myhomepage.com myhomepage.pdf

**7、wu —— 一个快速命令行天气应用程序 **

wu 是一个小型,快速的命令行应用程序,从 Weather Underground 检索天气数据。

8、Gatling —— 服务器性能测试工具。

Gatling是一款基于Scala 开发的高性能服务器性能测试工具,它主要用于对服务器进行负载等测试,并分析和测量服务器的各种性能指标。Gatling主要用于测量基于HTTP的服务器,比如Web应用程序,RESTful服务等。

9、kp- 一个 Kafka 工具

一个利用 CLI 直接生成数据到 Kafka 的工具。

10、KT - Kafka 命令行工具

基于 JSON 的 Kafka 工具

11、jsonify—— 快速创建 JSON 对象

根据命令行参数快速生成JSON输出;解析字符串或任意 JSON 值的简单语法;支持读取文件内容,方便转义。

12、Exiv2—— 图像数据提取。

Exiv2 是一个用来提取图片中的EXIF、LPTC 和 XMP 元数据信息的C++类库。同时还提供了命令行工具。

13、osquery —— 操作系统监控工具

osquery 是 SQL 驱动的分析和监控操作系统的工具,是操作系统分析框架,支持 OS X 和 Linux 系统。osquery 能帮助监控和分析低水平的操作系统,提供更直观的性能监控。osquery 在操作系统中就像是一个高性能的关系数据库,允许你编写基于 SQL 的查询语句来洞察操作系统的数据。

14、Tesseract OCR 命令行使用方法

详情请点击(这里

15、Hadoop / HDFS 命令行工具汇总

详情请点击(这里

16、curl—— 字符界面下的下载工具

curl 是一款著名的字符界面下的下载工具,支持HTTP、HTTPS、FTP、FTPS、DICT、TELNET、LDAP、FILE,和 GOPHER。此外还具有cookies支持、断点续传、FTP上传、密码支持、SSL支持和代理支持等特性。curl同时还提供了一套libcurl的库,开发者可以基于这个库开发其他下载工具。

17、wget—— 命令行文件下载工具

wget 是一个从网络上自动下载文件的自由工具。它支持 HTTP,HTTPS 和 FTP 协议,可以使用 HTTP 代理。wget 可以跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。

18、mqtt-cli

一个通过 mqtt 代理发送 mqtt 消息的节点命令行应用程序。也可以用于订阅和收听有关主题的传入邮件。

除此之外,还可以编写一些简短的 Python 脚本来通过命令行实现数据处理

from nltk.sentiment.vader
import SentimentIntensityAnalyzer
import sys
sid = SentimentIntensityAnalyzer()
ss = sid.polarity_scores(sys.argv[1])
print('Compound {0} Negative {1} Neutral {2} Positive {3} '.format(ss['compound'], ss['neg'], ss['neu'], ss['pos']))

只需五行 Python 脚本即可实现情绪分析。

甚至可以通过命令行调试 TensorFlow(由于目前是 beta 测试版本,执行过程中可能会出现一些问题)。

编译自:Big Data, Machine Learning, and Deep Learning Command Line Tools

转载必须在正文中标注并保留原文链接和作者等信息。

© 著作权归作者所有

编辑部的故事

编辑部的故事

粉丝 1407
博文 260
码字总数 496532
作品 0
深圳
运营/编辑
私信 提问
加载中

评论(2)

IIIThSoul
IIIThSoul
第15项,请点击这里,括号里“这里”的链接少了个“h”
lywnko
lywnko
nice©
大数据、人工智能、机器学习、深度学习,这些到底在说什么?

1,大数据、人工智能、机器学习、深度学习的关系。 大数据,或者说大数据分析平台,更具体一点就是大数据分析PaaS平台,其实是一种针对需要处理海量数据统计分析的PaaS云平台。 大数据学习可...

卢家大少
2018/06/06
0
0
英特尔等推动深度学习与超级计算相融合

【概要】英特尔和美国国家能源研究科学计算中心、斯坦福大学联合开发出一套深度学习系统,可在15 Petaflops的超级计算机上运行。 机器学习是一种人工智能技术,在商业应用中取得了前所未有的...

人工智能快报
2018/09/17
0
0
为什么说靠吃“大数据”才能养出AI?

我们现在已经迈入了AI与机器人逐渐取代人类工作的年代,在不知不觉间,AI的相关技术已经开始渗透每个人生活的角落,从Google与Facebook依照兴趣投放的广告、可以帮你找资料设定日历的语音助理...

玄学酱
2018/04/16
0
0
人工智能、大数据、复杂系统学习

黑科技,人工智能前进之路势不可挡! “做大做强新兴产业集群,实施大数据发展行动,加强新一代人工智能研发应用。发展智能产业,拓展智能生活。” 人工智能已作为国家乃至全球新的经济增长动...

自学号
2018/05/10
0
0
深度学习DeepLearning核心技术实战----二十四期

随着人工智能的发展 大数据的应用 计算机的普及 各行各业对从业人员的计算机水平要求更高,中国管理科学研究院职业资格认证培训中心 特举办 三个技术培训 欢迎科研工作者的参加 一,时间地点...

谨记初心
2018/12/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
7
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
9
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部