文档章节

小白学习大数据之路——Hadoop3.0.0-alpha2 安装以及测试程序wordcount实践

阿亮学长123
 阿亮学长123
发布于 2017/02/19 22:19
字数 255
阅读 31
收藏 0

好久没看大数据,最近发现用的软件都太旧了,所以准备更行所有大数据相关的新用法。

tar -zxvf hadoop-3.0.0-alpha2.tar.gz
mv hadoop-3.0.0-alpha2 /usr/local/hadoop
  • 第三步:配置参数 这里因为是新版本,所以文件路径有变化,我可是费好大力气找到的。相当于旧版本的conf文件
vi etc/hadoop/gadoop-env.sh   //进入文件后修改
export JAVA_HOME=*****       //你安装的Java路径
source hadoop-env.sh             //使修改文件生效
  • 第四步:那就是jwordcount程序了
hadoop -version   //看看是否安装成功
mkdir input           //在Hadoop文件夹下新建文件夹input
cp etc/hadoop/* input    
ls     input
  • 最后一步:计数,看图吧
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output 'dfs[a-z.]+'

输入图片说明 输入图片说明

© 著作权归作者所有

阿亮学长123
粉丝 12
博文 31
码字总数 14762
作品 0
南京
程序员
私信 提问
开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop?

详情:http://www.osforce.cn/?p=1216 课程题目:开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop? 开课时间:2013年07月30日 18:30 - 21:30 现场或线上参课:...

程开源
2013/07/19
5
0
开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop?

详情:http://www.osforce.cn/?p=1216 课程题目:开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop? 开课时间:2013年07月30日 18:30 - 21:30 现场或线上参课:...

程开源
2013/07/19
200
2
第八届TOP100软件案例研究峰会(TOP100summit)

第八届TOP100全球软件案例研究峰会将于11月14日至17日在北京国际会议中心举行。全球软件案例研究峰会(简称“壹佰案例”)是科技界一年一度的案例研究榜 单,旨在发现有案例教学意义的项目或...

msup789
10/10
2
0
与海内外100个技术大牛零距离接触!第五届全球软件案例研究峰会议程揭秘

由麦思博主办的2016全球软件案例研究峰会(如下简称:TOP100summit)将于12月9日-12日在北京国家会议中心举行,本次论坛致力于梳理技术革命如何推进未来的商业变革,盘点2016年全球科技最有价...

msup
2016/11/22
1K
0
Structured Streaming教程(1) —— 基本概念与使用

近年来,大数据的计算引擎越来越受到关注,spark作为最受欢迎的大数据计算框架,也在不断的学习和完善中。在Spark2.x中,新开放了一个基于DataFrame的无下限的流式处理组件——Structured St...

董黎明
2018/12/07
21
0

没有更多内容

加载失败,请刷新页面

加载更多

【2019年8月版本】OCP 071认证考试最新版本的考试原题-第9题

Choose three Which three statements are true about views in an Orade batabase? A) A SELECT statement cannot contain a where clause when querying a view contaning a WHERE clause ......

oschina_5359
32分钟前
5
0
[JSON].connectionValue()

本文转载于:专业的前端网站➭[JSON].connectionValue() 语法: [JSON].connectionValue() 说明: 将对象的所有键值接连成新的字符串值 返回: [String] 示例: Set a = toJson()c = Array(1,2,...

前端老手
34分钟前
4
0
云计算给大数据分析工具带来了什么

如果大数据是一块蛋糕,那么大数据分析工具就是切蛋糕的刀叉。人们都期待着能用“刀叉”从大数据中挖出自己想要的“价值”,因此大数据分析工具被人们寄予厚望。而云计算技术的兴起似乎又给大...

青果云小潘
36分钟前
4
0
centOS7下es的使用

安装启动es7.4.0 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.4.0docker run -d -p 9200:9200 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elast......

无畏的老巨人
43分钟前
4
0
iptables删除命令中的相关问题

最近在做一个中间件的配置工作,在配置iptables的时候,当用户想删除EIP(即释放当前连接),发现使用iptables的相关命令会提示错误。iptables: Bad rule (does a matching rule exist in t...

xiangyunyan
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部