文档章节

从零开始的战斗路线

yimi
 yimi
发布于 2015/01/09 16:44
字数 254
阅读 52
收藏 0

第一天的需求

你好,先了解下自己工作的定位。

hadoop系统工程师:

1、hadoop框架开发环境搭建、调试。 
2、对ETL工程师进行基于hadoop架构及原理讲解培训。 
3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。 
4、基于XX项目大数据应用的实验开发。


部门使用的是集群环境如下:

服务器操作系统是 centos6,

cloudera版本的hadoop5.2版本,

数据仓库工具 impala,数据库 hbase,

数据处理工具为 pig,数据同步工具是 sqoop,

系统集群管理工具 hue,系统集群监控 ganglia+nginx

集群数据挖掘工具是mahout


在服务器到位后,安装搭建集群环境,并完成环境调试,以及形成集群环境安装文档以方便后续ETL同事开发了解。

© 著作权归作者所有

共有 人打赏支持
yimi
粉丝 1
博文 18
码字总数 7909
作品 0
潍坊
高级程序员
私信 提问
Cocos2D泰然教程推荐学习步骤

文章转自泰然教程:http://article.ityran.com/cocos2dstudy 这是一个学习Cocos2D的非常好的学习指引。保存下来。 Cocos2D泰然教程推荐学习步骤 cocos2d学习Iven推荐步骤 校对:子龙山人 一、...

andyhe91
2014/10/10
0
0
【山海经】关于操作方式和回合机制

回合机制分为: 同步回合 在回合内双方都可以行动 异步回合 分为本方回合和对方回合,只有在各自回合内才可以行动 在不同的回合机制下会有不同的操作方式 同步回合时的操作方式: 全自动方式...

jalang
2016/04/18
2
0
KDE一周开发工作回顾(2010/10/10)

KDE一周开发工作回顾(2010/10/10) KDE Commit-Digest(KDE一周开发工作回顾)又回来了!(从http://www.commit-digest.org/可以看出,2009年二月份KDE Commit-Digest实行过四次,后来停了。...

xyxzfj
2010/10/18
151
0
播放战斗演示的方法

双击打开Scene/battle场景,点击播放。 鼠标选择Hierarchy窗口中的battleControler节点,在Inspector窗口显示如下内容。 拖动Proto目录下的fightLog到战斗记录标签后面的输入框里。 点击开始...

追夢人
2017/05/13
1
1
编程微刊第四期文章汇总(2018.4)

编程微刊创立也有一段时间了,在此感谢一直关注我的小伙伴们,你们的关注和支持,是我每天不断更新的动力,我每个月会总结一期微刊,方便大家的阅读。 1. 推荐文章 这个时代,抛弃你的时候,...

祈澈姑娘
05/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
107
4
Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
13
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
21
0

中国龙-扬科
昨天
4
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部