文档章节

hadoop实践(一) hadoop-2.7.3的安装配置

晨辰46
 晨辰46
发布于 2017/05/13 11:31
字数 457
阅读 6
收藏 0

1、准备环境

(1)centos6.5

(2)java1.8

(3)hadoop-2.7.3

2、安装环境

操作系统和java环境的安装不再赘述

(1)添加用户组

image

(2)创建用户

image

(3)设置用户密码

image

(4)设置peter用户的宿主目录

image

(5)同步时间

image

image

image(更改时区)

(6)修改hostname

image

image

(7)配置hosts文件

image

image

(8)赋予peter用户root权限

image

image

(9)配置免秘钥登录

image(创建.ssh文件夹)

image(执行并连续回车三次)

image(拷贝文件)

image(拷贝到slave的.ssh文件夹下)

image(测试)

(2)hadoop-2.7.3安装

  (1)下载稳定版本2.7.3 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/,将下载文件上传到

image下,并解压文件

image

(2)配置环境变量

image

添加如下内容:

image

image

(3)在/home/peter/bigdata/hadoop-2.7.3下创建hadoop必须的目录

image

(4)配置core-site.xml文件

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑core-site.xml文件,

image

(5)配置hdfs-site.xml文件

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑hdfs-site.xml文件,

image

(6)配置mapred-site.xml文件,若无此文件,image(拷贝生成)

image

(7)配置yarn-site.xml

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑yarn-site.xml文件,

image

(8)配置hadoop-env.sh

编辑文件,在底部添加如下内容:

export HADOOP_IDENT_STRING=$USER export HADOOP_IDENT_STRING=$USER export JAVA_HOME=/usr/local/java/jdk1.8.0_40 export HADOOP_HOME=/home/peter/bigdata/hadoop-2.7.3 export HADOOP_PID_DIR=/home/peter/bigdata/pids export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(9)配置slaves文件
sudo vi slaves slave

(10)初始化hadoop

执行hadoop namenode –format格式化namenode,注意,若多次格式化namenode,则会造成namenode或datanode不能启动,原因是两者的uuid由于重新格式化后,出现了不一致。出现这种情况,删除tmp及hdfs目录后,重新格式化namenode,再次启动hadoop

(11)启动hadoop

使用start-dfs.sh ,start-yarn.sh启动hadoop软件(停止为stop-dfs.sh、stop-yarn.sh)。

image

image

在master上执行hdsf dfsadmin –report,若配置成功,出现如下信息:

image

image

image

© 著作权归作者所有

晨辰46
粉丝 0
博文 7
码字总数 1155
作品 0
兰州
私信 提问
Windows 搭建Hadoop 2.7.3开发环境

1、安装配置Java环境 1.1、安装Windows版本的jkd应用程序 当前的系统环境是64位Windows 7,因此下载64位JDK,下载地址:http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e...

巴利奇
2018/01/06
0
0
CentOS 7下安装集群Hadoop-2.7.3

一、硬件环境 我使用的硬件是云创的一个minicloud设备。由三个节点(每个节点8GB内存+128GB SSD+3块3TB SATA)和一个千兆交换机组成。 二、安装前准备 1.在CentOS 7下新建hadoop用户,官方推...

xhHuang
2016/12/18
1K
0
大数据TensorFlowOnSpark安装

1. 概述 大数据tensorflowonspark 进行安装和测试。 2 .环境 3 .安装 1.1 删除系统自带jdk: # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64rpm -e --nodeps java-1.6.0......

cs312779641
2017/10/19
0
0
CentOS 7下安装集群HBase1.2.4

本文是继续前两篇博文: 【CentOS 7下安装Hadoop-2.7.3】https://my.oschina.net/xhhuang/blog/807914 【CentOS 7下安装Zookeeper-3.4.9】https://my.oschina.net/xhhuang/blog/808600 的工作......

xhHuang
2016/12/20
1K
2
手动安装hadoop集群

官网手册: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 主机信息 主机名 ip hadoop1 10.0.70.242 hadoop2 10.0.70.243 hadoop3 10.0.70.230 hadoop4 10.0.70.231 一.设置主......

周新宇1991
2016/11/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
22分钟前
1
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0
hash slot(虚拟桶)

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射...

李朝强
昨天
4
0
Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
昨天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部