文档章节

超人学院二期学员分享hadoop工作经验

吴超沉思录
 吴超沉思录
发布于 2014/02/13 21:05
字数 788
阅读 192
收藏 1

定于2月17日——2月23日的某一天,邀请咱们学员分享一下hadoop工作经验。对于没工作过的同学或者没从事过hadoop工作的同学,抓住机会啊,你可以提前准备自己关心的各种问题!

具体时间请关注QQ群(3群261520795),超人学院其他群的朋友不必重复加到3群,每个群都会发公告的。

你的未来或许因为这次聆听而改变!

分享内容大纲原文如下:

 

1.分享内容

漫谈**移动互联网公司hadoop环境下**业务的报表研发流程、技术及其他相关内容

2.面向观众

初入职场和对数据处理有兴趣的同学。提示:互联网公司数据处理工作经验丰富同学请绕道,不耽误您时间

3.本人情况

超人学院二期学员

计算机专业研究生,即将毕业,在某大型互联网公司实习70天

所做项目:hadoop环境下某业务报表研发(日志拉取-预处理入hive-预聚合入mysql-前端报表展示)

4.具体分享点

1)公司报表系统现状和报表研发组人员安排及工作分工现状

公司目前的新旧报表系统现状:

公司集群说明:

本组项目介绍、人员分工情况和工作内容说明:

2)以**业务报表研发流程为例漫谈其流程、所涉及技术、团队项目沟通方式和软件

a、需求产生过程及遇到的问题和注意事项:

b、报表研发过程(数据处理流程):

<1>需求整理及确认、遇到的问题和需注意事项

<2>日志拉取过程、所遇问题和需注意事项

<3>日志预处理(清洗,入hive)过程、所遇问题以及需注意事项

<4>预聚合过程(指标形成过程)、所遇问题和需注意事项

c、其他

<1>整个流程的监控机制、任务调度机制、数据正确性保证机制

<2>项目沟通方式和项目管理软件使用情况:

<3>所需掌握技能的个人总结

3)初入移动互联网职场工作感悟

总之

<1>职业是很严谨的,思想上先认真再认真对待,不论大小事;

<2>高效执行需求不可有拖延症;

<3>大小事都需过脑子,思路清晰透彻,切不可想当然,草率了事,踏踏实实将每一件事情办扎实;

<4>项目沟通中需精炼准确描述问题,尤其注意不可省略问题的前后场景;面对提问,需直答问题,不可给出替代答案;

<5>形成规范的做事流程和做事方法可节约较多时间并有利于做对事情和个人能力提升;

最后

愿大家都能正确评判自己所处位置并坚定好目标,然后不遗余力的前行。

© 著作权归作者所有

吴超沉思录
粉丝 19
博文 6
码字总数 26012
作品 0
昌平
私信 提问
Hadoop大数据年薪20W就业分享

你想毕业后高薪就业吗,你想找到一份高薪的工作吗,超人学院,一名应届本科生,通过在超人学院学习高薪大数据课程,成功找到一份基本年薪20W的工作,今天这位学员为大家带来面试经验。 http...

超人学院
2015/05/11
295
0
超人学院大数据高新就业班第八期火爆招生中

当今最红的名词是大数据,掌握趋势,才能赢得未来! 技术改变命运,你想改变自己的命运吗?想拥有高薪的工作,舒适的办公环境吗?那就来超人学院吧!这是你最好的选择,没有之一! 技术难度高...

超人学院
2015/06/08
484
0
超人学院大数据高薪就业班第十二期火爆招生中

超人学院大数据高薪就业班第十二火爆招生中,2016年大数据培训最新最全的课程内容,企业级的实战项目,来自互联网一线大数据开发工程师全职授课,让你学有所得,真正高薪就业,让你成功从码农...

超人学院
2016/01/12
61
0
超人学院就业班学员就是如此的任性!

超人学院就业班4期学员,第一份大数据工作半年后跳槽,之前是13K月薪,跳槽后月薪飙升到20k,另外,令人羡慕的还有公司股票,超人学院Hadoop大数据就业班学员就是这么牛。亲们,还等什么呢,...

超人学院
2015/05/19
90
0
浙大研究生hadoop工作分享

超人学院浙大研究生Hadoop工作经验分享,分享在Hadoop大数据工作中的经验。请点击以下链接 http://ke.qq.com/cgi-bin/courseDetail?courseid=69533 更多精彩内容请关注:http://bbs.superwu....

超人学院
2015/05/20
77
0

没有更多内容

加载失败,请刷新页面

加载更多

Raspberry Pi 树莓派 搭建java8环境

更新软件源 apt-get upgradeapt-get update 移除自带的openjdk(如果有的话) apt-get remove openjdk* 安装oracle jdk,地址: https://www.oracle.com/technetwork/java/javase/downl......

ChangeZ
30分钟前
79
0
树莓派3b 安装openwrt

https://downloads.openwrt.org/releases/19.07.0/targets/brcm2708/bcm2710/openwrt-19.07.0-brcm2708-bcm2710-rpi-3-squashfs-factory.img.gz 插入并启动树莓派3B+,顺便接上键盘和显示器,......

FalconChen
50分钟前
71
0
OSChina 周一乱弹 —— 有些运动也常用到膝盖

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《火宵の月・テーマ~ピアノソロ》- 中村由利子 手机党少年们想听歌,请使劲儿戳(...

小小编辑
今天
109
0
Redis持久化机制

RDB存储 RDB方式的持久化是通过快照完成的,当符合一定条件时Redis会自动将内存中的所有数据生成一份副本并存储在硬盘上。 Redis会在一下集中情况下对数据进行快照: 根据配置规则进行快照;...

XuePeng77
今天
81
0
float精度计算测试

package mainimport ("fmt""github.com/go-ozzo/ozzo-dbx"_ "github.com/go-sql-driver/mysql")type DecimalDemo struct {Id intAmount float64}func main() {db, _......

醉人的笑容你有没有
今天
127
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部