文档章节

Linux下安装配置Hadoop2.7.6

晨猫
 晨猫
发布于 06/19 00:47
字数 219
阅读 44
收藏 6


前提
安装jdk

下载
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

解压

配置

vim /etc/profile

# 配置java环境变量
export JAVA_HOME=/opt/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin

# 配置hadoop环境变量
export HADOOP_HOME=/usr/local/src/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新加载文件
source /etc/profile


[root@localhost hadoop-2.7.6]# hadoop version
Hadoop 2.7.6
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8
Compiled by kshvachk on 2018-04-18T01:33Z
Compiled with protoc 2.5.0
From source with checksum 71e2695531cb3360ab74598755d036
This command was run using /usr/local/src/hadoop-2.7.6/share/hadoop/common/hadoop-common-2.7.6.jar

vim etc/hadoop/hadoop-env.sh


export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=/opt/jdk1.8.0_162


hadoop官方案例
http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.]+'
cat output/*


hadoop官方案例2
mkdir wcinput
cd wcinput
vim wc.input

hello hello
world
go
java java
c c c
hadoop

cd ..
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount wcinput wcoutput
cat wcoutput/*

© 著作权归作者所有

共有 人打赏支持
晨猫
粉丝 32
博文 394
码字总数 110957
作品 0
杭州
后端工程师
私信 提问
hadoop编译过程中遇到的错误

我用的环境(错误跟环境没关系):centos6.4,hadoop2.6.4(或者hadoop2.7.6或者hadoop2.6.5) 【错误1】:mvn clean install -DskipTests中遇到: [ERROR] Failed to execute goal org.apach...

mysky221
昨天
0
0
centos6.5 安装hadoop2.7.6 1master2node

环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装,Java下载的oracle官网的1.8.0_172的包安装。 参考了别人的文档,遇到了不同的问题。 1. 3台centos6.5 vmware 192.168.17...

简记
04/23
0
0
RHEL6.5安装 Oracle 11g + udev + ASM安装部署详解

RHEL6.5安装 Oracle 11g + udev + ASM安装部署详解 [日期:2017-05-26] 来源:Linux社区 作者:sound [字体:大 中 小] 最近在学Oracle体系结构等理论知识,在这里总结RHEL6.5下安装 Oracle...

rootliu
昨天
0
0
在Windows下安装Hadoop 图文教程

Windows下运 行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便,安...

小帅帅丶
2015/01/08
0
0
Linux下如何配置FineReport报表工程

电脑操作系统:linux 服务器:resin 报表工程应用:FineReport 操作步棸: 一:安装jdk 二:安装服务器,以resin为例 三:配置报表工程 一:安装jdk 1.首先在相关官网上下载jdk 例如jdk1.6,...

finereport
2011/11/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式锁的实现

redis实现分布式锁 方法1:普通实现方案 实现方式: 使用指令: set key 随机值 ex 5 nx.意思是当key不存在的时候设置key. 如果key存在返回OK,否则返回nil. 实现过程: 1.执行命令set key true ...

grace_233
23分钟前
1
0
解决CKEditor 4 富文本编辑器在图片组件无法显示[上传]选项卡的相关问题

关于解决CKEditor 4 富文本编辑器在图片组件无法显示[上传]选项卡的相关问题。 本文可能会对以下现象得以解决: 图片上传组件,没有 [上传] 选项卡。 资源无法加载 [imgupload] ( Uncaught E...

Eller
27分钟前
0
0
限制php解析、user_agent、php相关配置

11月20日任务 11.28 限定某个目录禁止解析php 11.29 限制user_agent 11.30/11.31 php相关配置 11.28、限定某个目录禁止解析php 核心配置文件内容 <Directory /data/wwwroot/www.123.com/upl...

zgxlinux
31分钟前
1
0
博客园首页新随笔联系订阅管理 随笔

注解Annotation实现原理与自定义注解例子 什么是注解? 对于很多初次接触的开发者来说应该都有这个疑问?Annontation是Java5开始引入的新特征,中文名称叫注解。它提供了一种安全的类似注释的...

onedotdot
49分钟前
4
1
Spring boot + redis 用RedisTemlate实现简单的String key value 操作

springboot集成redis, 简单的key, value缓存操作. 1. application-local.properties # redis on local#spring.redis.port=6379#spring.redis.host=localhost#spring.redis.password=......

园领T
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部