文档章节

hadoop伪分布式的安装

迪allen
 迪allen
发布于 2014/03/20 21:39
字数 763
阅读 268
收藏 4

    hadoop伪分布式一般用于学习和测试.生产环境一般不使用.

    (如有错误,欢迎批评指正)


    1.安装环境

        在windows系统上安装linux系统,以CenOS为例.hadoop版本是hadoop1.1.2

    2.配置linux虚拟机

        2.1确保window的上的网卡WMnet1和Linux虚拟机的网卡在同一网段(ping一下试试,确保可以ping通即可)

        2.2修改主机名

            最好修改一下(统一管理,方便好记).指令:vim /etc/sysconfig/network

        2.3修改ip

            对linux指令不熟悉的同学最好使用图形化界面来改(建议)

            指令:vim /etc/sysconfig/network-scripts/ifcfg-eth0(每个人机器

                不同,虚拟机上的网卡有可能不一样,改成自己机器上网卡)

            修改ipaddress,netmask,gateway.

        2.4修改主机名与ip的映射关系

            指令:vim /etc/hosts

        2.5关闭防火墙(关闭开机启动)

            指令:chkconfig iptables off

        2.6重启linux

            指令:reboot

    3.安装jdk

        3.1上传jdk

        3.2添加执行权限

            指令:chmod u+x jdk(自己上传的jdk)

        3.3解压

            解压到指定目录(请所有的文件统一管理)

            指令:tar -zxvf jdk(自己上传的jdk) -C 指定目录

        3.4添加环境变量

            指令:vim /etc/profile

        3.5刷新(使配置的环境变量生效)

            指令:source /etc/profile

    4.安装hadoop伪分布式

        4.1上传hadoop

        4.2确保有执行权限,并解压(再次强调,文件最好统一管理)

            指令:tar -zxvf hadoop(上传的hadoop版本) -C 指定目录

        4.3配置hadoop(修改4个配置文件),进入到hadoop-1.1.2/conf目录下

            如果对指令不熟悉(请使用工具修改,例如:Notepad++等)

            4.31hadoop-env.sh

                在第九行,去掉注释,配置JAVA_HOME

            4.32core-site.xml

                <configuration>

                    <!-- 指定HDFS的namenode的地址 -->

                    <property>

                        <name>fs.default.name</name>

                        <value>hdfs://配置的主机名:9000</value>

                    </property>

                    <!-- 指定hadoop运行时产生的文件的目录 -->

                    <property>

                        <name>hadoop.tmp.dir</name>

                        <value>/../hadoop-1.1.2/tmp</value>

                    </property>

                </configuration>

            4.33hdfs-site.xml

                <!-- 设置hdfs副本的数量 -->

                <configuration>

                    <property>

                        <name>dfs.replication</name>

                        <value>1</value>

                        <!--分布式默认是3,但是我们是为了测试学习,1就够了-->

                    </property>

                </configuration>

            4.34mapred-site.xml

                <!-- 指定mapreduce的jobtracker的地址 -->

                <configuration>

                    <property>

                        <name>mapred.job.tracker</name>

                        <value>配置的主机名:9001</value>

                    </property>

                </configuration>

            4.4添加hadoop环境变量

                指令:vim /etc/profile

            4.5格式化hadoop的hdfs

                指令:hadoop namenode -format

            4.6启动hadoop

                指令:start-all.sh

            4.7验证hadoop是否启动成功

                指令:jps

                成功了会出现下面五个

                    NameNode

                    SecondaryNameNode

                    DataNode

                    JobTracker

                    TaskTracker

                还可以通过浏览器验证

                    http://linux的ip:50070(hdfs管理界面)

                    http://linux的ip:50030(mapreduce管理界面)

                    但是必须先在windows系统下  

              C:\Windows\System32\drivers\etc 添加linux主机名和ip的映射关系

            5.配置ssh免登陆

                ssh是secure shell

                生成ssh密钥指令:ssh-keygen -t rsa连续按回车(4次)即可

                在/root下有隐藏文件.ssh, 进入到/root/.ssh/下,多了2个

                文件(id_rsa  id_rsa.pub)私钥和公钥,执行以下指令即可:

                cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


    hello hadoop,大功告成.可以开发了!














© 著作权归作者所有

迪allen
粉丝 28
博文 14
码字总数 11554
作品 0
程序员
私信 提问
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
2019/05/21
17
0
Hadoop单机版和伪分布式部署

说明:本文的hadoop安装环境为Ubuntu环境。 运行Hadoop集群的准备工作 1. 安装JDK,配置Java环境 2. SSH免登录(这一步可以忽略,但是启动hadoop的时候,需要手动为每个节点服务输入密码) 先确...

Mr_YangFei
2016/03/24
78
0
实战:如何在Linux上安装与配置Hadoop

【IT168 技术】Hadoop的安装非常简单,大家可以在官网上下载到最近的几个版本,网址为http://apache.etoak.com/hadoop/core/。   Hadoop最早是为了在Linux平台上使用而开发的,但是Hadoop在...

作者:陆嘉恒
2013/01/28
0
0
Hadoop伪分布式安装(HDFS)步骤

1.安装前的准备工作 在进行Hadoop伪分布式安装前要检测虚拟机是否进行了下面的配置: 1. 修改主机名 2. 修改主机名与ip之间的映射关系 3. 配置虚拟机网络可以进行上网 2.伪分布式部署(HDFS)...

yu0_zhang0的博客
2017/12/19
0
0
Hadoop学习01_Single Node Setup

目的 本文的目的主要是为了说明如何单点配置hadoop,从而能使用单个节点进行Hadoop MapReduce 和Hadoop Distributed File System (HDFS)运算。 先决条件 平台支持 GNU/Linux 作为开发和生产环...

烽焱10仴
2012/10/20
282
0

没有更多内容

加载失败,请刷新页面

加载更多

Java Varargs 可变参数使用

Java1.5 提供了一个叫varargs的新功能,就是可变长度的参数。 "Varargs"是 “variable number of arguments”的意思。有时候也被简单的称为 “variable arguments”。 定义实参个数可变的方法...

honeymoose
今天
69
0
IDEA 拉取、上传、更新 项目到 Gitee+GitHub_超详细超简单版

注:本人使用的idea是最新版(2019.1.2),要是其他的版本的不要惊慌〜,基本上都一样,没有什么太大的差别的 首先我要说一下,拉取项目分两个,一个,你就没有项目,拉取仓库的整个项目,而...

杨木发
今天
54
0
pyqt5环境搭建(Ubuntu19.10+pycharm+python3)

1.安装pyqt5 sudo apt-get install python3-pyqt5 sudo apt-get install qttools5-dev-tools sudo apt-get install qt5-default 2.安装pycharm 下载pycharm社区版安装包并解压 在桌面新建pyc......

小芯片
今天
54
0
Vue造轮子-tab组件(中)

1. 如果给一个标签一个class,标签本身又有class,vue是默认会合并的。只有两个属性是这样一个是class,一个是style。这样就比较好改样式。 <g-tabs-head class="red"></g-tabs> 2. 组件的...

ories
昨天
59
0
Windows 版本 Anaconda 配置加速源安装软件

C:\Users\lenovo\.condarc 首先安装Anaconda最新版本。 其次添加安装目录到环境变量。文本为 C:\ProgramData\Anaconda3\Library\bin 运行 conda 命令在 Windows 用户下生成文件 .conda...

白豆腐徐长卿
昨天
232
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部