文档章节

impala安装

o
 osc_y8yehimr
发布于 2019/03/20 10:59
字数 1461
阅读 10
收藏 0

精选30+云产品,助力企业轻松上云!>>>

安装规划

   

服务名称

Node01

Node02

Node03

impala-catalog

安装

不安装

不安装

impala-state-store

安装

不安装

不安装

impala-server

安装

安装

安装

impala

安装

安装

安装

   

安装impala

主节点node01执行以下命令进行安装

[root@hadoop01 ~]# yum install impala -y

[root@hadoop01 ~]# yum install impala-server -y

[root@hadoop01 ~]# yum install impala-state-store -y

[root@hadoop01 ~]# yum install impala-catalog -y

[root@hadoop01 ~]# yum install bigtop-utils -y

[root@hadoop01 ~]# yum install impala-shell -y

   

   

   

   

从节点node02和node03上安装以下服务

node02上执行安装

[root@hadoop02 ~]# yum install impala-server -y

[root@hadoop02 ~]# yum install bigtop-utils -y

node03上执行安装

[root@hadoop03 ~]# yum install impala-server -y

[root@hadoop03 ~]# yum install bigtop-utils -y

   

impala配置

   

impala依赖于hive,所以首先需要进行hive的配置修改;

[root@hadoop01 hive]# cd /usr/local/hive/conf/

node1机器修改hive-site.xml内容如下:

[root@hadoop01 hive]# vim hive-site.xml

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node1:3306/hive?

createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<property>

<name>hive.cli.print.current.db</name>

<value>true</value>

</property>

<property>

<name>hive.cli.print.header</name>

<value>true</value>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node01</value>

</property>

<property>

<name>hive.metastore.uris</name>

<value>thrift://node01:9083</value>

</property>

<property>

<name>hive.metastore.client.socket.timeout</name>

<value>3600</value>

</property>

</configuration>

   

将配置好的配置文件发送到其他两个服务器节点上

[root@hadoop01 conf]# scp -r hive-site.xml node02:$PWD

[root@hadoop01 conf]# scp -r hive-site.xml node03:$PWD

   

添加mysql的jar包放入hive的lib目录下

   

启动hive的metastore服务

[root@hadoop01 lib]# cd /usr/local/hive/

[root@hadoop01 hive]#nohup bin/hive --service metastore &

注意:一定要保证mysql的服务正常启动,否则metastore的服务不能够启动

   

所有hadoop节点修改hdfs-site.xml添加以下内容

所有节点创建文件夹

[root@hadoop01 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

[root@hadoop02 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

[root@hadoop03 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

   

修改所有节点的hdfs-site.xml添加以下配置,修改完之后重启hdfs集群生效

[root@hadoop01 soft-manager]# cd /usr/local/hadoop-2.6.0-cdh5.14.0/

[root@hadoop01 hadoop-2.6.0-cdh5.14.0]# cd etc/hadoop/

[root@hadoop01 hadoop]# vim hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.blocksize</name>

<value>134217728</value>

</property>

   

<property>

<!--短路读取--就是允许impala把一些信息存储在本地磁盘上,可以加快计算的速度-->

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<!--打开"块位置的存储的元数据信息"-->

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets/dn</value>

<!--DatanodeDFSClient之间沟通的Socket的本地路径套接口文件-->

</property>

<property>

<!---->

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

<value>10000</value>

</property>

   

</configuration>

   

将配置好的配置我呢见拷贝到其他两台服务器

[root@hadoop01 hadoop]# scp -r hdfs-site.xml node02:$PWD

[root@hadoop01 hadoop]# scp -r hdfs-site.xml node03:$PWD

   

创建hadoop与hive的配置文件的连接

   

impala的配置目录为 /etc/impala/conf

这个路径下面需要把core-site.xml,hdfs-site.xml以及hive-site.xml拷贝到这里来,但是这里使用软连接的方式会更好。

在node01服务器上创建三个配置文件的软连接

[root@hadoop01 hadoop]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

[root@hadoop01 hadoop]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

[root@hadoop01 hadoop]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

   

在node02服务器上创建三个配置文件的软连接

[root@hadoop02 local]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

[root@hadoop02 local]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

[root@hadoop02 local]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

   

在node03服务器上创建三个配置文件的软连接

[root@hadoop03 ~]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

[root@hadoop03 ~]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

[root@hadoop03 ~]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

   

   

所有节点修改impala默认配置

   

在node01服务器更改impala默认配置文件

[root@hadoop01 hadoop]# vim /etc/default/impala

#指定集群的CATALOG_SERVICESTATE_STORE服务地址

IMPALA_CATALOG_SERVICE_HOST=node01

IMPALA_STATE_STORE_HOST=node01

   

在node02服务器更改impala默认配置文件

[root@hadoop02 hadoop]# vim /etc/default/impala

#指定集群的CATALOG_SERVICESTATE_STORE服务地址

IMPALA_CATALOG_SERVICE_HOST=node01

IMPALA_STATE_STORE_HOST=node01

   

在node03服务器更改impala默认配置文件

[root@hadoop03 hadoop]# vim /etc/default/impala

#指定集群的CATALOG_SERVICESTATE_STORE服务地址

IMPALA_CATALOG_SERVICE_HOST=node01

IMPALA_STATE_STORE_HOST=node01

   

修改配置如下图所示

   

   

所有节点创建mysql的驱动包的软连接

   

[root@hadoop01 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

[root@hadoop02 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

[root@hadoop03 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

   

所有节点修改bigtop的java路径

在node01上修改bigtop的java_home路径

[root@hadoop01 hadoop]# vim /etc/default/bigtop-utils

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

   

在node02上修改bigtop的java_home路径

[root@hadoop02 hadoop]# vim /etc/default/bigtop-utils

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

   

在node03上修改bigtop的java_home路径

[root@hadoop03 hadoop]# vim /etc/default/bigtop-utils

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

   

   

   

启动impala服务

在主节点node01启动以下三个服务进程

[root@hadoop01 ~]# service impala-state-store start

[root@hadoop01 ~]# service impala-catalog start

[root@hadoop01 ~]# service impala-server start

   

在从节点node02和node03上启动impala-server

[root@hadoop02 ~]# service impala-server start

[root@hadoop03 ~]# service impala-server start

查看impala进程是否存在

[root@hadoop01 ~]# ps -ef | grep impala

[root@hadoop02 ~]# ps -ef | grep impala

[root@hadoop03 ~]# ps -ef | grep impala

   

注意:启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下,node01机器上面应该有三个进 程,node02与node03机器上面只有一个进程,如果进程个数不对,去对应目录下查看报错日志

   

浏览器页面访问

   

访问impalad的管理界面http://node01:25000/

   

访问statestored的管理界面http://node01:25010/

   

访问catalogd 的管理界面http://node01:25020/

   

将impala与kudu整合

   

在每一个服务器的impala的配置文件中添加如下配置:

在node01节点上修改配置文件impala

[root@hadoop01 hadoop]# vim /etc/default/impala

-kudu_master_hosts=node01:7051,node02:7051,node03:7051

在node02节点上修改配置文件impala

[root@hadoop02 hadoop]# vim /etc/default/impala

-kudu_master_hosts=node01:7051,node02:7051,node03:7051

在node03节点上修改配置文件impala

[root@hadoop03 hadoop]# vim /etc/default/impala

-kudu_master_hosts=node01:7051,node02:7051,node03:7051

   

   

 

   

 

   

   

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
使用Cloudera Manager安装Impala(翻译)

使用Cloudera Manager安装Impala 在使用Cloudera Manager接口安装Impala之前,请确认所有相关的节点有合适的硬件配置,安装了正确版本的操作系统和CDH。参见 Cloudera Impala需求了解详细信息...

weiqingbin
2013/12/15
522
0
安装Cloudera Impala(翻译)

安装Cloudera Impala Cloudera Impala是Cloudera Enterprise Core的开源扩展,用于快速返回查询结果。 Impala作为你环境的插件,与其他组件的安装独立进行。Impala由一组组件组成,可以安装到...

weiqingbin
2013/12/14
347
0
Cloudera Impala需求(翻译)

Cloudera Impala需求 为了达到预期的效果,Impala依赖于软件、硬件的可用性,以及下面章节描述的配置。 继续阅读: 支持的操作系统 支持的Hadoop发布 Hive Metastore及相关配置 Java依赖关系...

weiqingbin
2013/12/15
713
0
Hadoop CDH5 Impala部署

Cloudera发布了实时查询开源项目Impala!多款产品实测表明,比原来基于MapReduce的Hive SQL查询速度提升3~90倍。Impala是Google Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。 CDH5 Impala ...

China_OS
2014/05/30
639
0
不使用Cloudera Manager安装Impala(翻译)--格式有问题

不使用Cloudera Manager安装Impala 在手工安装Impala之前, 请确认所有相关的节点有合适的硬件配置,安装了正确版本的操作系统和CDH。参见 Cloudera Impala需求了解详细信息。 你可以在多个节...

weiqingbin
2013/12/15
1.2K
0

没有更多内容

加载失败,请刷新页面

加载更多

深入浅出Zabbix 3.0 -- 第二章 Zabbix Web操作与定义

第二章 Zabbix Web操作与定义 本章介绍Zabbix 中一些基本概念的定义和web前端页面的操作,包括Zabbix中使用的一些术语的定义,Web页面中用户管理、主机和主机组的管理,以及监控项、模板、触...

osc_5zaxkz1e
14分钟前
0
0
深入浅出Zabbix 3.0 -- 第一章 Zabbix 安装与配置

第一章 Zabbix 安装与配置 1.1 Zabbix 介绍 Zabbix是一个企业级的开源监控软件,可以监控IT基础架构的可用性和应用的性能,为用户提供集中管理、分布式监控的一站式(all in one)监控解决方...

osc_nvkeo9cj
14分钟前
10
0
PHP 实现抽奖逻辑

public static function get_rand($proArr) { $result = ''; //概率数组的总概率精度 $proSum = array_sum($proArr); //概率数组循环 forea......

chenhongjiang
15分钟前
18
0
struts2 上传 下载

东方部落: http://11144439.blog.51cto.com struts中上传文件功能小测试。这里jar是 2.5 版本。 项目结构图 废话不多说,直接代码。 2. web.xml配置 <?xml version="1.0" encoding="UTF-8......

osc_1qix3fyb
16分钟前
31
0
SVN管理系统安装及其操作

SVN管理系统安装及操作 防伪码:学习永远不晚! 前言: SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS、CVS,它采用了分支管理系统,它的设计目标就是取代CVS。互联网上...

osc_afifi2qt
17分钟前
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部