文档章节

大数据平台工具集

pearma
 pearma
发布于 2017/01/04 17:08
字数 222
阅读 15
收藏 1
  1. Hive - 早期的sql -> mapreduce 翻译器,减轻程序员的负担。而且hive支持数据从本地系统加载到hive表,也支持从hdfs把文件加载到hive表。问题在于,效率不高。

    hive配套的工具包括hive cli 和beeline。两者都可以在命令行下执行hive命令,但是前者据说要被淘汰了。

  2. HBASE - NoSQL 数据库系统,底层还是依赖于hdfs.

  3. Impala - 一个比较快的sql引擎,绕开map reduce机制,直接访问hdfs系统来获取数据。

  4. sqoop2 -一个ETL工具,而且支持map-reduce机制,来并发抽取数据。

  5. Ansible - 一个自动化部署工具,考虑到今后大数据平台50台节点的管理,没有一个自动化部署工具肯定是不行的。

© 著作权归作者所有

pearma
粉丝 3
博文 67
码字总数 26042
作品 0
徐汇
高级程序员
私信 提问
数据分析怎能没有数据:分享几个经典的数据源

做数据分析,玩BI工具,经常为没有数据而抓狂,这里就分享给你几个强大的数据面,这也是我在知乎上的一个回答。 1,世界银行公开数据:World Bank Open Data 免费并公开获取世界各国的发展数...

PowerBI星球
05/08
0
0
揭秘即将亮相 HadoopCon 2016 的大数据新星

根据IDC研究显示,大数据解决方案将在未来四年中,帮助全球企业分享大约1.6万亿美元新增收入的数据红利。在大数据产业发展中,以Hadoop为代表的开源大数据生态成为大数据和云计算的重要技术支...

局长
2016/09/09
1K
0
WhereHows —— LinkedIn大数据发现和管理工具

WhereHows 是 LinkedIn 公司一个用于大数据发现和管理的工具,集成了所有主要的数据处理系统,可以进行分类收集和元数据操作。方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内...

oschina
2016/03/10
53
0
Kyligence 发布企业级大数据智能分析平台 KAP

大数据智能分析科技公司Kyligence2016年8月3日,在北京宣布正式发布其企业级大数据智能分析平台KAP(Kyligence Analytics Platform),该平台是基于Apache软件基金会顶级项目Apache Kylin实现...

彤娘娘
2016/08/04
2.2K
0
Kyligence智能分析平台助力国泰君安构建互联网级大数据分析平台

引言: 近日, 领先的大数据分析技术及解决方案供应商Kyligence与国内规模最大的证券公司之一的国泰君安证券股份有限公司(以下简称国泰君安)完成了大数据相关项目的合作签约,Kyligence将为...

ApacheKylin
2017/02/22
116
0

没有更多内容

加载失败,请刷新页面

加载更多

spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
30分钟前
2
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部