文档章节

数据摄取

oxiaohaio
 oxiaohaio
发布于 2016/08/31 10:54
字数 326
阅读 67
收藏 1

「深度学习福利」大神带你进阶工程师,立即查看>>>

  Amazon Kinesis:大规模数据流的实时处理;

  Apache Chukwa:数据采集系统;

  Apache Flume:管理大量日志数据的服务;

  Apache Kafka:分布式发布-订阅消息系统;

  Apache Sqoop:在Hadoop和结构化的数据存储区之间传送数据的工具;

  Cloudera Morphlines:帮助 Solr、HBase和HDFS完成ETL的框架;

  Facebook Scribe:流日志数据聚合器;

  Fluentd:采集事件和日志的工具;

  Google Photon:实时连接多个数据流的分布式计算机系统,具有高可扩展性和低延迟性;

  Heka:开源流处理软件系统;

  HIHO:用Hadoop连接不同数据源的框架;

  Kestrel:分布式消息队列系统;

  LinkedIn Databus:对数据库更改捕获的事件流;

  LinkedIn Kamikaze:压缩已分类整型数组的程序包;

  LinkedIn White Elephant:日志聚合器和仪表板;

  Logstash:用于管理事件和日志的工具;

  Netflix Suro:像基于Chukwa 的Storm和Samza一样的日志聚合器;

  Pinterest Secor:是实现Kafka日志持久性的服务;

  Linkedin Gobblin:LinkedIn的通用数据摄取框架;

  Skizze:是一种数据存储略图,使用概率性数据结构来处理计数、略图等相关的问题;

  StreamSets Data Collector:连续大数据采集的基础设施,可简单地使用IDE。

上一篇: 类SQL处理
下一篇: 服务编程
oxiaohaio

oxiaohaio

粉丝 4
博文 28
码字总数 9243
作品 0
江阴
程序员
私信 提问
加载中
请先登录后再评论。
开源数据访问组件--Smark.Data

Smark.Data是基于Ado.net实现的数据访问组件,提供基于强类型的查询表达式进行灵活的数据查询,统计,修改和删除等操作;采用基于条件驱动的操作模式,使数据操作更简单轻松;内部通过标准SQL...

泥水佬
2013/03/12
2.6K
0
数据中心生命周期管理--Foreman

Foreman是一个集成的数据中心生命周期管理工具,提供了服务开通,配置管理以及报告 功能,和Puppet Dahboard一样,Foreman也是一个Ruby on Rails程序.Foreman和 Dashboard不同的地方是在于,Fore...

匿名
2012/10/24
1.5W
0
Python数据分析工具包--Pandas

Python Data Analysis Library 或 pandas 是连接 SciPy 和 NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集...

匿名
2012/10/30
2.1W
2
轻量级数据存储服务--LLServer

LLServer是本人基于libevent和leveldb这两个开源软件,开发的轻量级数据存储服务器软件,借助libevent高效网络接口实现对leveldb的访问封装。 其支持http协议和memcached协议。也就是可以通过...

代震军
2012/11/06
1K
0
ORM数据访问组件--ELinq

ELinq 是一个轻量简单易用的开源Linq ORM数据访问组件,支持Nullable类型和枚举类型,对Linq的谓词提供了完美的支持,旨在让绝大部份的主流数据库都使用 Linq 来进行程序开发,让开发人员访问...

netcasewqs
2012/12/17
2K
2

没有更多内容

加载失败,请刷新页面

加载更多

利用Numpy中的ascontiguousarray可以是数组在内存上连续,加速计算

1. 概述 在使用Numpy的时候,有时候会遇到下面的错误: AttributeError: incompatible shape for a non-contiguous array 看报错的字面意思,好像是不连续数组的shape不兼容。 有的时候,在看...

osc_9we1w99u
刚刚
0
0
如何管理客户的期望值?

根据客户关系管理(CRM)中的三角定律,客户满意度=客户体验-客户期望值。客户期望值与客户满意度成相对反比,因此需要引导客户期望值并维持在一个适当的水平,同时客户期望值需要与客户体验协...

cailisuper
56分钟前
0
0
阿里研究员:软件测试中的18个难题

阿里QA导读:对于软件测试来说,怎么样才算测够了?如何评价测试的有效性?那么多测试用例,以后怎么删?在软件测试中会遇到非常多的问题,阿里研究员郑子颖分享了18个他总结出的难题以及相关...

阿里巴巴技术质量
昨天
0
0
Numpy的常用函数总结

1、np.argmax()、np.max()、np.argmin()、np.min()用法: argmax返回的是最大数的索引.argmax有一个参数axis,默认是0。看二维的情况如下: a = np.array([[1, 5, 5, 2],            ...

osc_auwur47t
2分钟前
0
0
【报告分享】2020抖音进阶-挑战赛2.0产品营销方案.pdf(附下载链接)

大家好,我是文文(微信:sscbg2020),今天给大家分享抖音营销中心出品的《2020抖音进阶-挑战赛2.0产品营销方案.pdf》,方案里面的玩法解析、案例、营销重点分析等都很清晰,对短视频及品牌...

智能推荐系统
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部