文档章节

从零开始的战斗路线

yimi
 yimi
发布于 2015/01/09 16:44
字数 254
阅读 52
收藏 0

第一天的需求

你好,先了解下自己工作的定位。

hadoop系统工程师:

1、hadoop框架开发环境搭建、调试。 
2、对ETL工程师进行基于hadoop架构及原理讲解培训。 
3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。 
4、基于XX项目大数据应用的实验开发。


部门使用的是集群环境如下:

服务器操作系统是 centos6,

cloudera版本的hadoop5.2版本,

数据仓库工具 impala,数据库 hbase,

数据处理工具为 pig,数据同步工具是 sqoop,

系统集群管理工具 hue,系统集群监控 ganglia+nginx

集群数据挖掘工具是mahout


在服务器到位后,安装搭建集群环境,并完成环境调试,以及形成集群环境安装文档以方便后续ETL同事开发了解。

© 著作权归作者所有

共有 人打赏支持
yimi
粉丝 1
博文 18
码字总数 7909
作品 0
潍坊
高级程序员
Cocos2D泰然教程推荐学习步骤

文章转自泰然教程:http://article.ityran.com/cocos2dstudy 这是一个学习Cocos2D的非常好的学习指引。保存下来。 Cocos2D泰然教程推荐学习步骤 cocos2d学习Iven推荐步骤 校对:子龙山人 一、...

andyhe91
2014/10/10
0
0
编程微刊第四期文章汇总(2018.4)

编程微刊创立也有一段时间了,在此感谢一直关注我的小伙伴们,你们的关注和支持,是我每天不断更新的动力,我每个月会总结一期微刊,方便大家的阅读。 1. 推荐文章 这个时代,抛弃你的时候,...

祈澈姑娘
05/04
0
0
KDE一周开发工作回顾(2010/10/10)

KDE一周开发工作回顾(2010/10/10) KDE Commit-Digest(KDE一周开发工作回顾)又回来了!(从http://www.commit-digest.org/可以看出,2009年二月份KDE Commit-Digest实行过四次,后来停了。...

xyxzfj
2010/10/18
150
0
游戏框架构建篇——愿景的设定

 题记:游戏策划于游戏就好比剧本于影视作品,差的剧本很难拍出好的影视作品没错,但是有好的剧本也不一定能拍出好的影视作品。   做一个好游戏,简简单单有个策划是完全不够的,策划只能...

shezjl
2015/10/04
100
0
Android 3.0关闭API!Google牛到这种程度了?

android3.0还向下兼容吗?android一上来就红的发黑了,我觉得这与java程序员能轻易的介入android开发有很大关系,起码在开发语言上讨好了一大批程序员。iphone牢牢的把持着高端市场,android...

7odin
2010/10/12
2.7K
11

没有更多内容

加载失败,请刷新页面

加载更多

现场看路演了!

HiBlock
7分钟前
0
0
Rabbit MQ基本概念介绍

RabbitMQ介绍 • RabbitMQ是一个消息中间件,是一个很好用的消息队列框架。 • ConnectionFactory、Connection、Channel都是RabbitMQ对外提供的API中最基本的对象。Connection是RabbitMQ的s...

寰宇01
23分钟前
1
0
官方精简版Windows10:微软自己都看不过去了

微软宣布,该公司正在寻求解决方案,以减轻企业客户的Windows 10规模。该公司声称,企业客户下载整个Windows 10文件以更新设备既费钱又费时。 微软宣布,该公司正在寻求解决方案,以减轻企业...

linux-tao
28分钟前
0
0
TypeScript基础入门之JSX(二)

转发 TypeScript基础入门之JSX(二) 属性类型检查 键入检查属性的第一步是确定元素属性类型。 内在元素和基于价值的元素之间略有不同。 对于内部元素,它是JSX.IntrinsicElements上的属性类型...

durban
今天
1
0
AVA中CAS-ABA的问题解决方案AtomicStampedReference

了解CAS(Compare-And-Swap) CAS即对比交换,它在保证数据原子性的前提下尽可能的减少了锁的使用,很多编程语言或者系统实现上都大量的使用了CAS。 JAVA中CAS的实现 JAVA中的cas主要使用的是...

码代码的小司机
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部