从零开始的战斗路线
博客专区 > yimi 的博客 > 博客详情
从零开始的战斗路线
yimi 发表于3年前
从零开始的战斗路线
  • 发表于 3年前
  • 阅读 36
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

摘要: 一个没有结束的开始——更新纪实

第一天的需求

你好,先了解下自己工作的定位。

hadoop系统工程师:

1、hadoop框架开发环境搭建、调试。 
2、对ETL工程师进行基于hadoop架构及原理讲解培训。 
3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。 
4、基于XX项目大数据应用的实验开发。


部门使用的是集群环境如下:

服务器操作系统是 centos6,

cloudera版本的hadoop5.2版本,

数据仓库工具 impala,数据库 hbase,

数据处理工具为 pig,数据同步工具是 sqoop,

系统集群管理工具 hue,系统集群监控 ganglia+nginx

集群数据挖掘工具是mahout


在服务器到位后,安装搭建集群环境,并完成环境调试,以及形成集群环境安装文档以方便后续ETL同事开发了解。

共有 人打赏支持
粉丝 2
博文 17
码字总数 7909
评论 (0)
×
yimi
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: