文档章节

Ubuntu Kylin 安装和部署Hadoop(伪分布式)

游动的海蜇
 游动的海蜇
发布于 2017/02/07 15:55
字数 679
阅读 99
收藏 0

####一、配置用户信息 1.添加用户到sudo组(用户名以实际情况为准,这里使用Kevin举例):

sudo adduser Kevin sudo

2.添加到hadoop,并将用户添加到hadoop:

su
addgroup hadoop
usermod -a -G hadoop Kevin

####二、配置ssh免密码登录 1.安装ssh server:

sudo apt-get install openssh-server

2.ssh免密配置:

cd ~/.ssh/          #若没有该目录,请先执行一次ssh localhost               
ssh-keygen -t rsa              
cat id_rsa.pub >> authorized_keys  

3.检测是否能直接登录:

ssh localhost

####三、配置JDK 参考文章《Ubuntu Kylin 安装和配置JDK》

####四、安装和配置Hadoop环境变量 1.下载Hadoop2.7.3:

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/

2.解压Hadoop压缩文件:

sudo tar -zxvf  /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local

3.重命名Hadoop文件夹:

cd /usr/local/
sudo mv ./hadoop-2.7.3/ ./hadoop

4.修改文件权限:

sudo chown -R Kevin ./hadoop 

5.配置Hadoop环境变量:

执行以下命令:

sudo nano /etc/profile

打开界面后,在之前配置的JAVA_HOME后面输入:

export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

使配置立即生效:

source /etc/profile

6.检测Hadoop安装是否成功:

hdfs

####五、配置Hadoop伪分布式 1.切换至配置文件目录:

cd /usr/local/hadoop/etc/hadoop

2.配置 core-site.xml:

执行命令:

nano core-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.配置 hdfs-site.xml:

执行命令:

nano hdfs-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

4.配置yarn-site.xml:

执行命令:

nano yarn-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

5.配置mapred-site.xml:

从模板文件复制一个xml,执行命令:

mv mapred-site.xml.template mapred-site.xml

再执行命令:

nano mapred-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
</configuration>

6.配置hadoop-env.sh:

执行命令:

nano hadoop-env.sh

配置文件中的JAVA_HOME(JDK路径以实际情况为准):

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

7.配置完成后,执行格式化:

hdfs namenode -format

出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。

8.启动hadoop所有的进程:

start-all.sh

9.查看各个进程是否正常启动:

执行命令:

jps

执行结果:

5385 Jps
2422 NameNode
2538 DataNode
2742 SecondaryNameNode
3008 NodeManager
2892 ResourceManager

10.在网页上查看Hadoop信息:

http://localhost:50070

####六、参考文章 1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)(http://www.linuxidc.com/Linux/2015-09/122873.htm)

© 著作权归作者所有

游动的海蜇
粉丝 9
博文 121
码字总数 33636
作品 0
杭州
程序员
私信 提问
kylin_学习_00_资源帖

一、官方资料 1.官方文档 kylin官方文档(中文) 2.kylin的安装 Hadoop 环境搭建 kylin安装向导 二、参考资料 1.分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例 2.Apache...

rayner
2018/03/20
0
0
Apache Kylin v2.5.1 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.5.1 正式发布!欢迎大家下载使用。 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持...

ApacheKylin
2018/11/08
1K
0
KYLIN访问远程hive和hbase环境

KYLIN访问远程hive和hbase环境 思路:在kylin服务器上配置所需环境的client;包括hadoop,hive,hbase 准备远程hadoop集群,hive环境,hbase环境的配置文件,替换掉对应客户端的配置文件。 ...

仔仔1993
2018/09/11
105
0
Apache Kylin (v1.5.0) 发布,全新设计的新一代

Apache Kylin社区非常高兴宣布全新设计的新一代Apache Kylin (v1.5.0)正式发布。 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规...

LukeHan
2016/03/17
11.9K
10
kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop学习02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase学习01HBase环境搭建(单机...

rayner
2018/03/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目

作者|白松 目的:科研中,需要分析在每次迭代过程中参与计算的顶点数目,来进一步优化系统。比如,在SSSP的compute()方法最后一行,都会把当前顶点voteToHalt,即变为InActive状态。所以每次...

数澜科技
今天
4
0
Xss过滤器(Java)

问题 最近旧的系统,遇到Xss安全问题。这个系统采用用的是spring mvc的maven工程。 解决 maven依赖配置 <properties><easapi.version>2.2.0.0</easapi.version></properties><dependenci......

亚林瓜子
今天
10
0
Navicat 快捷键

操作 结果 ctrl+q 打开查询窗口 ctrl+/ 注释sql语句 ctrl+shift +/ 解除注释 ctrl+r 运行查询窗口的sql语句 ctrl+shift+r 只运行选中的sql语句 F6 打开一个mysql命令行窗口 ctrl+l 删除一行 ...

低至一折起
今天
10
0
Set 和 Map

Set 1:基本概念 类数组对象, 内部元素唯一 let set = new Set([1, 2, 3, 2, 1]); console.log(set); // Set(3){ 1, 2, 3 } [...set]; // [1, 2, 3] 接收数组或迭代器对象 ...

凌兮洛
今天
4
0
PyTorch入门笔记一

张量 引入pytorch,生成一个随机的5x3张量 >>> from __future__ import print_function>>> import torch>>> x = torch.rand(5, 3)>>> print(x)tensor([[0.5555, 0.7301, 0.5655],......

仪山湖
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部