文档章节

apache版本kudu kudu-impala安装方法

m
 mjjlxx1714
发布于 2017/03/27 19:36
字数 889
阅读 653
收藏 3

kudu安装方法简介

第一步:下载rpm包

http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/5.12.2/RPMS/x86_64/

    kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

第二步:安装rpm包

    kudu-master节点安装:

    rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

    kudu-tserver节点安装(不安装kudu-master):

    rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

第三步:配置

    kudu配置项分为稳定配置(stable),高级配置(advanced);

    稳定配置可用于配置常见任务;

    高级配置包含有一些正在进行尝试的调试,可能会引起bug;

    采用rpm安装之后,配置文件默认存在/etc/kudu/conf

    kudu-master节点:

        ----master.gflagfile

           配置项:

          ----block_cache_capacity_mb    块高速缓存容量(MB)

          ----log_force_fsync_all                每次写入后,Log/WAL 是否应显式调用

          ----fs_data_dirs                             Master 将放置其数据块的目录的逗号分隔列表

          ----master-addresses                   kudu-master的rpc通讯地址,不指定默认为单节点

          ----fs_wal_dir                                Master 将其预写日志的目录

          ----log_dir                                    存储主日志文件的目录。

        ----tserver.gflagfile

          ----fs_data_dirs            Tablet Server 将放置其数据块的目录的逗号分隔列表

          ----fs_wal_dir                Tablet Server 将放置预写日志的目录

          ----log_dir                     存储 Tablet Server 日志文件的目录

          ----tserver_master_addrs          tablet server 应连接的主机的逗号分隔地址

          ----block_cache_capacity_mb       分配给 Kudu Tablet Server 块缓存的最大内存量

          ----memory_limit_hard_bytes    Tablet Server 预存传入并未写入时消耗的最大内存量

   kudu-tserver节点:                

       参照master的kudu-tserver配置

第四步:ntp服务检测与安装

[root@mrj001 kudu]# yum -y install cyrus-sasl-plain lsb ntp 
[root@mrj001 kudu]# rpm -ivh *

第三步:配置文件

配置主、从机 
/etc/kudu/conf/tserver.gflagfile 
–tserver_master_addrs=mrj001:7051

/etc/default/kudu-master 
export FLAGS_rpc_bind_addresses=mrj001:7051 
/etc/default/kudu-tserver 
export FLAGS_rpc_bind_addresses=hadoop6:7050

第四步:设置ntpd服务

参考本人所写:https://my.oschina.net/u/3376452/blog/868649

第五步:设置目录权限

mkdir /opt/var/lib/kudu -p 
chown -R kudu:kudu /opt/var/lib/kudu

第六步:启动kudu

[root@mrj001 default]# /etc/init.d/kudu-master start 
[root@hadoop6 default]# /etc/init.d/kudu-tserver start

第七步:在ui访问kudu

http://192.168.0.119:8051/ 
http://192.168.0.120:8050/

 

安装apache的impala-kudu

第一步:

http://archive.cloudera.com/beta/impala-kudu/redhat/6/x86_64/impala-kudu/0/RPMS/x86_64/ 
http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/RPMS/noarch/

第二步:

rpm -ivh bigtop-utils-0.7.0+cdh5.12.0+0-1.cdh5.12.0.p0.37.el6.noarch.rpm 
rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm –nodeps 
rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
yum install -y python-setuptools 
rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
主节点安装catalog和state-store 
从节点不要安装catalog和state-store

第三步:

vim /etc/default/bigtop-utils 
export JAVA_HOME=/home/local/jdk1.8.0_131/ 
vim /etc/default/impala 
IMPALA_CATALOG_SERVICE_HOST=192.168.0.116 
IMPALA_STATE_STORE_HOST=192.168.0.116 
cd /etc/impala/conf.dist 
cp -a /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/core-site.xml . 
cp -a /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/hdfs-site.xml .

 

© 著作权归作者所有

m
粉丝 2
博文 13
码字总数 4918
作品 0
私信 提问
Apache Sentry实战之旅(一)—— Impala+Sentry整合

默认是以这个超级用户运行服务,执行和操作的,要实现不同用户之间细粒度的权限控制,需要与整合。是下的一个开源项目,它基于的授权模型实现了权限控制,与它整合以后,就能实现不同用户之间...

九州暮云
07/07
132
0
CDH5 Hadoop如何支持读写OSS

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由Cloudera维护,目前有不少用户使用这个发行版本。CM是管理集群的工具...

冷月_wjh
2018/10/29
0
0
使用 Impala Shell(翻译)

使用 Impala Shell 你可以使用 Impala shell 工具 (impala-shell) 配置数据库和表、插入数据和执行查询。你可以在交互式会话里提交 SQL 语句进行即席查询和探测(For ad hoc queries and exp...

weiqingbin
2014/01/07
760
0
配置Impala支持ODBC(翻译)

配置Impala支持ODBC 可以使用ODBC实现第三方产品与Impala的集成。为了获得最佳体验,确保你计划使用的第三方产品支持ODBC。验证支持包括检查Impala、ODBC、操作系统、以及第三方软件的版本允...

weiqingbin
2013/12/16
1K
0
HDP上安装impala

Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。Impala提供更快的查询速度,性能上号称比Hive快3~10倍。Impala是开源的,但一...

litterMo
2016/07/22
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周四乱弹 —— 当你简历注水但还是找到了工作

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享成龙的单曲《男儿当自强》。 《男儿当自强》- 成龙 手机党少年们想听歌,请使劲儿戳(这里) @hxg2016 :刚在...

小小编辑
今天
2.7K
22
靠写代码赚钱的一些门路

作者 @mezod 译者 @josephchang10 如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。 今天给大家分享一个精彩的 GitHub 库,这个库整理...

高级农民工
昨天
4
0
用好项目管理工具,人人都可以成为项目经理

现在市面上的项目管理工具越来越多了,但是大多数都是一些协同工具或轻量项目管理工具。如果是多团队、跨部门使用或者企业级的项目管理,从管理思想到工具运用,需要适应企业的业务流程体系,...

cs平台
昨天
12
0
只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
69
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
32
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部