文档章节

hadoop 伪集群环境搭建(新)

空净
 空净
发布于 2017/04/12 13:11
字数 518
阅读 11
收藏 0

 

 

1.环境配置

1.1安装jdk

yum -y install java-1.7.0-openjdk* 

1.2配置jdk

vim /etc/profile

加入以及内容:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

#配置hadoop home
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1

1.3配置ssh免密码登录

yum install openssh-server -y
//安装后,可以使用如下命令登陆本机:
ssh localhost
//此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了


exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

1.4关闭防火墙

systemctl stop firewalld.service
//开机不启动
systemctl disable firewalld.service

2.安装hadoop

选择一个安装目录,我安装在:/usr/local

cd /usr/local
//下载hadoop2.7.1
wget http://apache.fayea.com/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
//解压
tar -zxvf hadoop-2.7.1.tar.gz

3.配置分布式文件系统hdfs

3.1配置core-site.xml

//进入目录
cd hadoop-2.7.1/etc/hadoop
vim core-site.xml

配置内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
       <value>/hadoop/tmp</value>
    </property>
</configuration>

 

3.2配置hdfs-site.xml

vim hdfs-site.xml

配置内容如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.3配置hadoop-env.sh

修改Javahome

vim hadoop-env.sh

配置内容如下:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64/

4.配置资源调度yarn

4.1配置mapred-site.xml

//复制模板文件,修改
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

配置内容如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.2配置yarn-site.xml

vim yarn-site.xml

配置内容如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5.启动和关闭

5.1启动

//回到hadoop目录
cd /usr/local/hadoop
//格式化操作
bin/hdfs namenode -format
//启动hdsf
sbin/start-dfs.sh
//启动yarn
sbin/start-yarn.sh

5.2查看

jps

改自己的IP,浏览一下地址:

http://192.168.1.103:8088/

http://192.168.1.103:50070/

5.3关闭

//关闭hdfs
sbin/stop-dfs.sh
//关闭yarn
sbin/stop-yarn.sh

 

© 著作权归作者所有

空净
粉丝 1
博文 31
码字总数 25970
作品 0
广州
程序员
私信 提问
Spark 从零到开发(二)Spark安装和集群搭建

准备工作 首先得安装scala:CentOS7.x 安装scala 伪集群搭建没做过的参考:CentOS7.x Hadoop集群搭建 下载解压 配置 1. 配置环境变量 2. 配置 给尾部添加环境变量: 3. 配置 新添数据: 同步...

一个入门攻城狮
2018/11/20
0
0
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
05/21
17
0
(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter
2017/12/15
0
0
hbase分布式集群搭建

hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环...

纯洁的虫纸
2017/08/11
0
0
Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri
2017/12/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
6
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
4
0
Python机器学习之数据探索可视化库yellowbrick

背景介绍 从学sklearn时,除了算法的坎要过,还得学习matplotlib可视化,对我的实践应用而言,可视化更重要一些,然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn,...

yeayee
今天
8
0
重读《学习JavaScript数据结构与算法-第三版》- 第5章 队列

定场诗 马瘦毛长蹄子肥,儿子偷爹不算贼,瞎大爷娶个瞎大奶奶,老两口过了多半辈,谁也没看见谁! 前言 本章为重读《学习JavaScript数据结构与算法-第三版》的系列文章,主要讲述队列数据结...

胡哥有话说
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部