文档章节

Linux下安装配置Hadoop2.7.6

晨猫
 晨猫
发布于 06/19 00:47
字数 219
阅读 42
收藏 6
点赞 0
评论 0


前提
安装jdk

下载
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

解压

配置

vim /etc/profile

# 配置java环境变量
export JAVA_HOME=/opt/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin

# 配置hadoop环境变量
export HADOOP_HOME=/usr/local/src/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新加载文件
source /etc/profile


[root@localhost hadoop-2.7.6]# hadoop version
Hadoop 2.7.6
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8
Compiled by kshvachk on 2018-04-18T01:33Z
Compiled with protoc 2.5.0
From source with checksum 71e2695531cb3360ab74598755d036
This command was run using /usr/local/src/hadoop-2.7.6/share/hadoop/common/hadoop-common-2.7.6.jar

vim etc/hadoop/hadoop-env.sh


export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=/opt/jdk1.8.0_162


hadoop官方案例
http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.]+'
cat output/*


hadoop官方案例2
mkdir wcinput
cd wcinput
vim wc.input

hello hello
world
go
java java
c c c
hadoop

cd ..
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount wcinput wcoutput
cat wcoutput/*

© 著作权归作者所有

共有 人打赏支持
晨猫
粉丝 26
博文 327
码字总数 80587
作品 0
杭州
后端工程师
centos6.5 安装hadoop2.7.6 1master2node

环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装,Java下载的oracle官网的1.8.0_172的包安装。 参考了别人的文档,遇到了不同的问题。 1. 3台centos6.5 vmware 192.168.17...

简记
04/23
0
0
在Windows下安装Hadoop 图文教程

Windows下运 行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便,安...

小帅帅丶
2015/01/08
0
0
在Linux上部署PXE远程安装服务

在Linux上部署PXE远程安装服务 实验介绍:在Linux虚拟机环境下,部署PXE远程安装服务,最终实现在另外一台虚拟机中远程安装Linux系统(前提是Linux虚拟机已经部署好yum仓库)。 1、安装TFTP(...

xiaoyaokeyx
05/15
0
0
Linux下如何配置FineReport报表工程

电脑操作系统:linux 服务器:resin 报表工程应用:FineReport 操作步棸: 一:安装jdk 二:安装服务器,以resin为例 三:配置报表工程 一:安装jdk 1.首先在相关官网上下载jdk 例如jdk1.6,...

finereport
2011/11/16
0
0
部署PXE远程安装服务和Kickstart无人值守安装

部署PXE远程安装服务和Kickstart无人值守安装 PXE: 网络引导技术,工作在Client/Serrver模式,允许客户机通过网络从远程服务器下载引导镜像,并加载安装文件或整个操作系统。若要搭建PXE网络...

何以重见
05/19
0
0
Linux开发环境搭建之Java开发环境JDK安装配置

这几天国产的Linux系统deepin15.5正式版发布了,基本上处于稳定了,受不了win10的各种卡顿和系 统封闭不能修改的诟病,果断下载了deepin系统格盘安装,在deepin上进行开发学习娱乐。本文将在...

MaxBill
2017/12/18
0
0
Linux系统Oracle12.2 RAC集群实施维护_Oracle数据库12cR2(项目实战之五)

课程目标 风哥Oracle数据库教程12cR2(项目实战系列)之五:Linux系统上Oracle 12.2 RAC实施与基本维护,包括系统安装与环境配置、ASM存储配置、Oracle 12cR2 RAC集群软件安装、RAC数据库软件...

风哥Oracle
06/28
0
0
Linux下配置Tomcat,及JDK

Redhat Linux安装JDK 1.7 本篇主要介绍在Redhat Linux(Red Hat Enterprise Linux Server release 5.7 (Tikanga))系统上安装JDK 1.7,其它Linux平台安装也大同小异,可能略有差别。 步骤1:...

Jesons
2015/04/21
0
2
JavaWeb24-HTML篇笔记(二)

1.1 Linux系统上安装tomcat:1.1.1 安装tomcat:1.1.1.1 上传tomcat的安装文件: 1.1.1.2 创建tomcat的安装路径: 在/usr/local 下mkdir tomcat 1.1.1.3 解压tomcat tar –xvf xxx.tar.gz –C...

我是小谷粒
06/12
0
0
Ubuntu下配置FTP服务器并用CuteFTP登陆

研究嵌入式开发,开始使用的是Linux平台,用的是Ubuntu环境,但是发现Ubuntu的图形界面仍然存在诸多问题,但是限于嵌入式Linux系统移植需要Linux环境,而且本人也是Linux终端的忠实爱好者,最...

RagingTyphoon
2015/08/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

回想过往,分析当下,着眼未来

好久没有真正的在纸质笔记本上写过东西了,感觉都快不会写字了,笔画都不知道怎么写了。接下来就说说咱们的正事。 2018年7月22日,我做了一个决定,那就是去参加安全培训(可能是我职业生涯中...

yeahlife
37分钟前
1
0
关于工作中的人际交往

关于工作中的人际交往 Intro 写了篇发泄情绪的博客,但不会发布出来。 大概就是,要么忍,要么滚。 以及一些不那么符合社会主义核心价值观,不满于大资本家与小资本家剥削的废话。

uniqptr
42分钟前
0
0
springMVC的流程

1.用户发送请求至前端控制器DispatcherServlet 2.DispatcherServlet收到请求调用HandlerMapping处理器映射器。 3.处理器映射器根据请求url找到具体的处理器,生成处理器对象及处理器拦截器(...

JavaSon712
57分钟前
0
0
大数据教程(3.2):Linux系统软件安装之自动化脚本

博主前面文章有介绍过软件的安装,可以帮助IT人员顺利的完成功能软件安装;但是,对于我们运维人员或者需要管理软件安装的项目经理来说,有些应用一次行需要搭建很多台相同的软件环境(如tom...

em_aaron
今天
0
1
Spring Boot 2.0.3 JDBC整合Oracle 12

整合步骤 1. Oracle驱动引入 Oracle驱动一般不能通过maven仓库直接下载得到,需自行下载并导入到项目的lib目录下,建议通过如下pom依赖引入下载的Oracle驱动 <!-- Oracle 驱动 -->...

OSC_fly
今天
0
0
java 8 并行流 - 1

下面创建一个并行流,与顺序流 //顺序流Stream.iterate(0L, i -> i + 1) .limit(Integer.MAX_VALUE) .reduce(0L, Long::sum);//并行流Stream.iterate(0L, i -> i......

Canaan_
今天
0
0
数据结构与算法5

二分法采用向下取整的方法 使用有序数组的好处是查找的速度比无序数组快的多,不好的方面是因为要将所有靠后的数据移开,所以速度较慢,有序数组和无序数组的删除操作都很慢。 有序数组在查找...

沉迷于编程的小菜菜
昨天
1
1
SpringBoot | 第十一章:Redis的集成和简单使用

前言 上几节讲了利用Mybatis-Plus这个第三方的ORM框架进行数据库访问,在实际工作中,在存储一些非结构化或者缓存一些临时数据及热点数据时,一般上都会用上mongodb和redis进行这方面的需求。...

oKong
昨天
5
0
对基于深度神经网络的Auto Encoder用于异常检测的一些思考

一、前言 现实中,大部分数据都是无标签的,人和动物多数情况下都是通过无监督学习获取概念,故而无监督学习拥有广阔的业务场景。举几个场景:网络流量是正常流量还是攻击流量、视频中的人的...

冷血狂魔
昨天
0
0
并发设计之A系统调用B系统

A-->B A在发送请求之前,用乐观锁,减少对B的重复调用,这样一定程度上是幂等性。 比如A系统支付功能,要调用B系统进行支付操作,但是前端对"支付"按钮不进行控制,即用户会不断多次点击支付...

汉斯-冯-拉特
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部