文档章节

hadoop2.6Linux(centos)伪分布搭建

王童帅
 王童帅
发布于 2016/06/17 11:17
字数 442
阅读 8
收藏 0

   一、关闭防火墙
                #查看防火墙状态
                service iptables status
                #关闭防火墙
                service iptables stop
                #查看防火墙开机启动状态
                chkconfig iptables --list
                #关闭防火墙开机启动
                chkconfig iptables off

1、安装jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2、配置环境变量自己写的shell脚本

3、编译所写的shell脚本

4、安装hadoop下载地址

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

5、编写的hadoop shell脚本

6、出现下面表示hadoop安装成功

二、修改配置文件(五个)

2.1、
                第一个:hadoop-env.sh
                #在27行修改
                export JAVA_HOME=/usr/java/jdk1.6.0_45
               
                第二个:core-site.xml
                <configuration>
                        <!-- 指定HDFS老大(namenode)的通信地址 -->
                        <property>
                                        <name>fs.defaultFS</name>
                                        <value>hdfs://localhost:9000</value>
                        </property>
                        <!-- 指定hadoop运行时产生文件的存储路径 -->
                        <property>
                                        <name>hadoop.tmp.dir</name>
                                        <value>/cloud/hadoop-2.2.0/tmp</value>
                        </property>
                </configuration>
               
                第三个:hdfs-site.xml
                <configuration>
                        <!-- 设置hdfs副本数量 -->
                        <property>
                                        <name>dfs.replication</name>
                                        <value>1</value>
                        </property>
                </configuration>
               
                第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml
                <configuration>
                        <!-- 通知框架MR使用YARN -->
                        <property>
                                        <name>mapreduce.framework.name</name>
                                        <value>yarn</value>
                        </property>
                </configuration>
               
                第五个:yarn-site.xml
                <configuration>
                        <!-- reducer取数据的方式是mapreduce_shuffle -->
                        <property>
                                <name>yarn.nodemanager.aux-services</name>
                                <value>mapreduce_shuffle</value>
                        </property>
                </configuration>

2.2、 格式化HDFS(namenode)第一次使用时要格式化

         hadoop namenode -format

2.3 启动hadoop
                先启动HDFS
                sbin/start-dfs.sh
               
                再启动YARN
                sbin/start-yarn.sh

2.4、 验证是否启动成功
                使用jps命令验证
                27408 NameNode
                28218 Jps
                27643 SecondaryNameNode
                28066 NodeManager
                27803 ResourceManager
                27512 DataNode

2.5、

http://192.168.0.101:50070  (HDFS管理界面)

http://192.168.1.101:8088 (MR管理界面)

 

2.6、 配置ssh免登陆
        生成ssh免登陆密钥
        cd ~,进入到我的home目录
        cd .ssh/

        ssh-keygen -t rsa (四个回车)
        执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
        将公钥拷贝到要免登陆的机器上
        cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
        或
        ssh-copy-id -i localhost

 

 

 

 

 

© 著作权归作者所有

上一篇: LINUX 的 FTP 安装
王童帅
粉丝 0
博文 9
码字总数 3659
作品 0
海淀
高级程序员
私信 提问
(5)Centos6.X安装FastDFS(伪分布)

1.什么是 是用c语言编写的一款开源的分布式文件系统。为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用很容易搭建一套高性能的文件服务器...

LoveCarpenter
2017/08/17
0
0
大数据Hadoop伪分布式集群搭建

安装hadoop ------------------- 1.安装jdk a)下载jdk-8u65-linux-x64.tar.gz b)tar开 $>su centos ; cd ~ $>mkdir downloads $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ......

sod5211314
2018/04/22
0
0
VirtualBox、CentOS 6.4、Hadoop、Hive玩起

1 安装VirtualBox: VirtualBox是一款开源免费的并且非常强大的虚拟机软件,同时支持X86和AMD64/Intel64,可以在多个操作系统平台上运行。与同性质的VMWare和Virtual PC比较,VirtualBox独到...

smile_zjw
2013/11/26
0
1
大数据教程(一)—— Hadoop集群坏境搭建配置

前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到...

biubiubiu!
2017/05/02
0
0
(6)Spark 2.0.0 伪分布安装

1.引言 是专为大规模数据处理而设计的快速通用的计算引擎。拥有所具有的优点;但不同于的是——中间输出结果可以保存在内存中,从而不再需要读写,因此能更好地适用于数据挖掘与机器学习等需...

LoveCarpenter
2017/12/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

数组算法

/*数组的相关的算法操作:1、在数组中找最大值/最小值*/class Test11_FindMax{public static void main(String[] args){int[] array = {4,2,6,8,1};//在数组中找最大...

architect刘源源
29分钟前
1
0
okhttp3 以上版本在安卓9.0无法请求数据的解决方案

应用官方的说明:在 Android 6.0 中,我们取消了对 Apache HTTP 客户端的支持。 从 Android 9 开始,默认情况下该内容库已从 bootclasspath 中移除且不可用于应用。且Android P 限制了明文流量...

chenhongjiang
今天
11
0
简单示例:NodeJs连接mysql数据库

开篇引用网上的说法: 简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境,基于...

李朝强
今天
8
0
大数据学习路线

年薪30W大数据学习路线图: 一、Hadoop入门,了解什么是Hadoop 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外Hadoop应用案例介绍 4、国内Hadoop的就业情况分析及课程...

陈小君
今天
3
0
解读 Kylin 3.0.0 | 更敏捷、更高效的 OLAP 引擎

在近期的 Apache Kylin Meetup 成都站上,我们邀请到 Kyligence 架构师 & Apache Kylin Committer 倪春恩对 Kylin 3.0.0 版本的一些重要功能及改进从使用到原理进行了介绍: Apache Kylin 在...

ApacheKylin
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部