文档章节

HADOOP单机系统安装

clgo
 clgo
发布于 2016/01/10 18:18
字数 611
阅读 26
收藏 0

一.安装和配置JDK

1.HADOOP是以JAVA语言写成的,需要预先在本地计算机上安装JDK,由于直接使用wget不能绕过ORACLE的网站验证,可以使用下面代码下载。

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u77-b03/jdk-8u77-linux-x64.rpm"

2.将下载的JDK拷贝到所需要安装的目录下。如:/usr/jdk

3.安装JDK

4.配置JAVA_HOME以及CLASS_PATH,vi 进入/etc/profile,在文件最后加上如下语句

export JAVA_HOME=/usr/jdk/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

  保存退出,执行下面命令使配置生效:

source /etc/profile

5.执行下面命令查看当前版本配置是否生效

java -version

二.安装ssh及rsync软件

在ubuntu linux上使用如下命令安装:

sudo apt-get install ssh
sudo apt-get install rsync

在RedHat/CentOS上使用如下命令安装:

sudo yum install ssh
sudo yum install rsync

单机伪分布使用如下命令配置免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

使用ssh localhost 命令测试是否还需要密码才能登录,如果不需要密码就可以进入,说明配置成功。

三.安装配置HADOOP

1.下载Hadoop稳定版并解压

wget http://mirrors.cnnic.cn/apache/hadoop/core/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
tar -xzvf hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

2.配置hadoop环境

切换到hadoop安装路径找到hadoop-1.2.1下的conf/hadoop-env.sh文件,使用vi打开。

vi ./hadoop-env.sh
<!--在文件中添加下面语句--!>
export JAVA_HOME=/usr/java/jdk1.6.0

配置conf/core-site.xml conf/hdfs-site.xml conf/mapred-site.xml

打开conf/core-site.xml文件,编辑如下:

<?xml version="1.0"?>   
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   
  
<!-- Put site-specific property overrides in this file. -->   
  
<configuration>   
<property>     
  <name>fs.default.name</name>     
  <value>hdfs://localhost:9000</value>      
 </property>     
</configuration>

打开conf/hdfs-site.xml文件,编辑如下:

<configuration>   
<property>   
<name>dfs.name.dir</name>   
<value>/usr/local/Hadoop/datalog1,/usr/local/hadoop/datalog2</value>   
</property>   
<property>   
<name>dfs.data.dir</name>   
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>   
</property>   
<property>   
<name>dfs.replication</name>   
<value>2</value>   
</property>   
</configuration>

 打开conf/mapred-site.xml文件,编辑如下:

<?xml version="1.0"?>   
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   
  
<!-- Put site-specific property overrides in this file. -->   
  
    <configuration>     
     <property>      
      <name>mapred.job.tracker</name>     
      <value>localhost:9001</value>      
     </property>     
    </configuration>

建议将HADOOP的bin目录配置到PATH环境变量

PATH="$PATH":你的hadoop的bin目录路径

四:启动和停止HADOOP

1.格式化分布式文件系统HDFS

hadoop namenode -front

2.启动hadoop环境

start-all.sh

3.停止hadoop运行

stop-all.sh

4.运行测试程序

hadoop jar $HADOOP_HOME/hadoop-examples-1.2.1.jar \

5.查看集群状态

jps


© 著作权归作者所有

下一篇: 暂存
clgo
粉丝 2
博文 100
码字总数 37222
作品 0
郑州
私信 提问
加载中

评论(0)

linux Hadoop 探索-hadoop单机模式

groupadd hadoopuseradd -mg hadoop hadoop -m指的是在/home/目录下新建一个与用户名相同的文件夹 -g指的是添加用户组 passwd hadoop 回车后将密码设置成123456 ps:密码限于开发调试,生产环...

charles_shang
2016/03/01
51
0
hadoop单机模式和伪分布式,全分布式的区别

单机模式(standalone) 单机模式是Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时,Hadoop无法了解硬...

Anuge
2017/10/29
1.3K
0
第 4 章 Hypertable

目录 4.1. Hypertable 安装 4.2. Code examples 4.3. HQL 4.4. FAQ http://hypertable.org/ 单机:安装于单机,采用本地文件系统 Hadoop:分布式安装,使用Hadoop(HDFS)作为存储 MapR:分布式...

玄学酱
2018/01/05
0
0
第 37 章 Hypertable

目录 37.1. Hypertable 安装 37.2. Code examples 37.3. HQL 37.4. FAQ http://hypertable.org/ 单机:安装于单机,采用本地文件系统 Hadoop:分布式安装,使用Hadoop(HDFS)作为存储 MapR:分...

玄学酱
2018/01/04
0
0
在Ubuntu上安装Hadoop(集群模式)

在安装好单机模式的hadoop之后,我们就可以着手来在集群模式下安装hadoop了。在安装了单机版hadoop的机器上将hadoop转成集群模式是很容易的。首先来设置网络。 网络 首先,我们需要在同一个网...

贱圣
2013/06/12
6.7K
4

没有更多内容

加载失败,请刷新页面

加载更多

Kafka 数据可靠性、消息发送传输

本篇分别介绍 数据可靠性保障 消息发送模式 消息传输保障 数据可靠性保障 当Producer向Leader发送数据时,可以通过request.required.acks参数来设置数据可靠性的级别,各个级别及其含义如下表...

moon888
19分钟前
78
0
敏捷原则比敏捷框架更重要

2018年5月10日,敏捷宣言的发起人之一Ron Jeffries公开宣称“开发人员应放弃使用敏捷框架”。Ron Jeffries提到,诸如Scrum和看板之类的敏捷框架,与敏捷原则相差甚远,并不能为开发人员提供好...

Worktile
22分钟前
69
0
尽速下载器 支持HTTP/磁力链接/BT种子协议下载预览 安卓10可用

下载加速,支持HTTP/磁力链接/BT种子等多种下载协议 可完美替换安卓原生下载器 支持手机自带浏览器点击下载链接,直接调出APP 超高下载成功率、超快下载速度 版本:1.6.1 大小:11.5 MB 下载...

xiaogg
23分钟前
63
0
一个用于在浏览器上展示bim模型的vue插件

# wl-bim-viewer 一个用于在浏览器上展示bim模型的vue插件,可以预览转化后的CAD文件。 基于vue和autodesk forge viewer写成。 目前支持单模型加载及多模型顺序加载。 其他特性正在扩展中。 ...

念其蔚蓝
27分钟前
57
0
如何创建spring-boot的web项目

第一步:新建一个maven项目 新建项目,选择maven 填写GroupId和ArtifactId 下一步默认即可,直接点击finish 创建完成后项目结构如下 第二步: 配置pom.xml 在pom.xml中添加如下代码: <p...

幻境fairy
49分钟前
46
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部