文档章节

从零开始的战斗路线

yimi
 yimi
发布于 2015/01/09 16:44
字数 254
阅读 52
收藏 0

第一天的需求

你好,先了解下自己工作的定位。

hadoop系统工程师:

1、hadoop框架开发环境搭建、调试。 
2、对ETL工程师进行基于hadoop架构及原理讲解培训。 
3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。 
4、基于XX项目大数据应用的实验开发。


部门使用的是集群环境如下:

服务器操作系统是 centos6,

cloudera版本的hadoop5.2版本,

数据仓库工具 impala,数据库 hbase,

数据处理工具为 pig,数据同步工具是 sqoop,

系统集群管理工具 hue,系统集群监控 ganglia+nginx

集群数据挖掘工具是mahout


在服务器到位后,安装搭建集群环境,并完成环境调试,以及形成集群环境安装文档以方便后续ETL同事开发了解。

© 著作权归作者所有

共有 人打赏支持
yimi
粉丝 1
博文 18
码字总数 7909
作品 0
潍坊
高级程序员
KDE一周开发工作回顾(2010/10/10)

KDE一周开发工作回顾(2010/10/10) KDE Commit-Digest(KDE一周开发工作回顾)又回来了!(从http://www.commit-digest.org/可以看出,2009年二月份KDE Commit-Digest实行过四次,后来停了。...

xyxzfj
2010/10/18
150
0
编程微刊第四期文章汇总(2018.4)

编程微刊创立也有一段时间了,在此感谢一直关注我的小伙伴们,你们的关注和支持,是我每天不断更新的动力,我每个月会总结一期微刊,方便大家的阅读。 1. 推荐文章 这个时代,抛弃你的时候,...

祈澈姑娘
05/04
0
0
Cocos2D泰然教程推荐学习步骤

文章转自泰然教程:http://article.ityran.com/cocos2dstudy 这是一个学习Cocos2D的非常好的学习指引。保存下来。 Cocos2D泰然教程推荐学习步骤 cocos2d学习Iven推荐步骤 校对:子龙山人 一、...

andyhe91
2014/10/10
0
0
Android 3.0关闭API!Google牛到这种程度了?

android3.0还向下兼容吗?android一上来就红的发黑了,我觉得这与java程序员能轻易的介入android开发有很大关系,起码在开发语言上讨好了一大批程序员。iphone牢牢的把持着高端市场,android...

7odin
2010/10/12
2.7K
11
从零开始开发JVM语言(九)验证有效性

目录戳这里 语义分析分为4步。1.记录类型;2.签名;3.验证有效性;4.解析。 上一篇描述了1,2两步。这一篇说说第三步。 这一步要做的事不多: 检查循环继承 方法重写 abstract方法是否全部被...

wkgcass
2016/06/13
48
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

@SpringBootApplication 注解

@SpringBootApplication注解是一个组合注解,包含以下注解 @Target(ElementType.TYPE) 注解的作用目标 @Retention(RetentionPolicy.RUNTIME) Reteniton的作用是定义被它所注解的注解保留多久,...

java.刘
33分钟前
0
0
sentinel自定义DataSource实战

序 本文主要研究一下如何自定义sentinel的DataSource,这里以jdbc为例。 maven <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-sen......

go4it
49分钟前
1
0
xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度?

问题: 用xgboost/gbdt在在调参的时候把树的最大深度调成6就有很高的精度了。但是用DecisionTree/RandomForest的时候需要把树的深度调到15或更高。用RandomForest所需要的树的深度和Decisio...

tantexian
50分钟前
0
0
php-fpm的pool - 慢执行日志 - 进程管理 - open_basedir

php-fpm的pool : 为避免多站点使用同一个pool时因一个站点故障导致php资源耗尽,牵连使用同一个pool的其他站点的正常工作,可对每一个站点设置独立pool。 增加pool: 1.编辑php-fpm配置文件...

ZHENG-JY
今天
0
0
Linux之ssh服务默认端口修改

导读 SSH是标准的网络协议,可用于大多数UNIX操作系统,能够实现字符界面的远程登录管理,它默认使用22号端口,采用密文的形式在网络中传输数据,相对于通过明文传输的Telnet,具有更高的安全...

问题终结者
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部