文档章节

Greenplum 三节点安装教程(非root用户)

仔仔1993
 仔仔1993
发布于 06/20 20:12
字数 1035
阅读 7
收藏 1
点赞 0
评论 0

Greenplum 三节点安装教程(非root用户)

  1. 环境准备

安装vmware,装三台centos

虚拟机设置:

主机名

IP

内存

硬盘

node1

Xxx1

2G

80G

node2

Xxx2

2G

80G

node3

Xxx3

2G

80G

  1. CSDN下载greenplum安装文件: greenplum-db-4.3.8.2-build-1-RHEL5-x86_64
  2. 安装

首先关闭防火墙:service iptables stop  关闭

                             Chkconfig iptables off 关闭开机启动

三机器修改hosts

Xxx1       node1

Xxx2       node2

Xxx3       node3

 

修改或添加/etc/sysctl.conf(三台机器)

xfs_mount_options = rw,noatime,inode64,allocsize=16m

kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1025 65535

net.core.netdev_max_backlog = 10000
vm.overcommit_memory = 2

 

配置/etc/security/limits.conf,添加以下内容,三台机器都要

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

 

三台机器设置预读块的值为16384

# /sbin/blockdev --getra /dev/sda 查看预读块,默认大小为256
# /sbin/blockdev --setra 16384 /dev/sda  设置预读块

 

 

三台机器设置磁盘访问I/O调度策略

#echo deadline > /sys/block/sda/queue/scheduler

 

在主节点安装安装包

./ greenplum-db-4.3.8.2-build-1-RHEL5-x86_64.bin

安装过程中遇到默认的直接回车,遇到yes|no输入yes,安装完之后或有一个greenplum的文件夹和一个指向geenplumn的greenplum-db的链接。

 

主节点获取环境参数(三台机器,可将其配置到.bashrc文件中)

# source /your_install_path/greenplum-db/greenplum_path.sh

需要注意的是:这个.sh文件会修改pythonhome,会影响系统自带的python环境,以及依赖系统python的一切应用

 

/your_install_path/grennplum文件夹下创建文件all_hosts,(三台机器),内容如下:

Node1

Node2

Node3

 

在主节点运行gpseginstall工具,来安装从节点segment

# gpseginstall -f all_hosts -u U_username -p U_password

其中all_hosts是刚刚创建的文件,安装过程中会让你输入三台机器的密码,输入即可。

 

在你的安装用户下(非root用户)验证无密码登录(三台机器)

使用gpssh工具来测试无密码登录所有的主机

 gpssh -f all_hosts -e ls -l $GPHOME

 

创建存储区域(主节点)

  1. 创建master数据存储区域

mkdir -p /data/master

  1. your_install_path创建一个包含所有segment主机名的文件seg_hosts,内容如下:

node2

node3

  1. 使用gpssh工具在所有的degment的主机上创建主数据和镜像数据目录,如果没有设置镜像数据可以不设置mirror目录:

Gpssh -f seg_hosts -e ‘mkdir -p your_install_path/data/primary’

Gpssh -f seg_hosts -e ‘mkdir -p your_install_path/data/mirror

 

       同步三台机器的系统时间

  1. 在主节点上编辑/etc/ntp.conf来设置一下内容:

server 127.127.1.0

  1. 在segment主机上编辑/etc/ntp.conf

Server node1

  1. 在主节点上的your_install_path通过NTP守护进程同步系统时钟

gpssh -f all_hosts -v -e 'ntpd'

 

       验证操作系统设置

       gpcheck -f all_hosts -m mdw

       运行结果是否有error信息,如果有的话,处理掉错误信息后重新执行上面的命令直到没有错误为止。

       需要注意的是:本例不是使用root用户安装的,他会一直报错说不是root用户安装,这里需要更改gpcheck这个python文件,找到验证用户是否是root的地方,将root改为你自己的安装用户即可。

 

       创建greenplun数据库配置文件

  1. 使用安装用户登录
  2. 修改gpinitsystem_config文件
  3. 设置所有必须参数

ARRAY_NAME="EMC Greenplum DW"

SEG_PREFIX=gpseg

PORT_BASE=40000

declare -a DATA_DIRECTORY=(your_install_path/data/primary)

MASTER_HOSTNAME=node1

MASTER_DIRECTORY=your_install_path/data/master

MASTER_PORT=5432

TRUSTED SHELL=ssh

CHECK_POINT_SEGMENT=8

 ENCODING=UNICODE

  1. 设置可选参数

MIRROR_PORT_BASE=50000
  REPLICATION_PORT_BASE=41000
  MIRROR_REPLICATION_PORT_BASE=51000
  declare -a MIRROR_DATA_DIRECTORY=(/ your_install_path data/mirror)

      

       运行初始化工具初始化数据库

       gpinitsystem -c gpinitsystem_config -h seg_hosts 成功之后数据库就启动了

 

       三节点设置环境变量,export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

 

       启动和停止数据库测试是否能够正常启动和关闭

       Gpstart

       Gpstop

 

       访问数据库

  1. 客户端访问

Psql -d postgres

  1. 程序远程访问

修改pg_hba.conf文件,加入如下内容:

Hosts       all           all           ip/32       trust

Hosts       all           all           127.0.0.1/32    trust

然后执行GPStop -u

© 著作权归作者所有

共有 人打赏支持
仔仔1993
粉丝 4
博文 51
码字总数 51056
作品 0
武汉
后端工程师
实战:Install greenplum cluster on ubuntu 16.04

规划:1个msater, 2个segments 环境:ubuntu 16.04 Greenplum Version: 'postgres (Greenplum Database) 5.3.0 build 2155c5a-oss 1、安装 sudo add-apt-repository ppa:greenplum/db sudo ap......

forestwater
2017/12/19
0
0
【干货】在docker中安装配置Greenplum集群的过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Greenplum是一个MPP(海量并行处理)计算框架的分布式数据库,其数据库引擎层是基于著名的Postgresq...

雪饼
01/12
4
0
Windows 7下硬盘安装Ubuntu 10.04简明教程(非Wubi安装)

相信不少朋友和我一样,都安装了Windows7系统。 随着电脑软硬件的快速更新换代,WindowsXP已经告别了历史的舞台,Windows7成了大多数Windows用户的选择。但不管Windows怎 么变,我们还是一样...

红薯
2010/05/03
8.8K
24
SSL 与数字证书 - 结束语

目录 第一章 为什么网络是不安全的? 第二章 信息安全的基本概念 第一节 安全的定义 第二节 认证与授权 第三章 加密与算法 第一节 散列(HASH) 第二节 对称加密(SYMMETRIC CRYPTOGRAPHY) ...

虫虫
2012/03/01
0
6
PgSQL · 应用案例 · 阿里云RDS金融数据库(三节点版) - 背景篇

背景 提到金融级数据库,大家可能不约而同的会想到Oracle,DB2等商业数据库。但是随着开源数据库的发展,开源数据库正在逐渐成为数据库产业的核心,比如MySQL、PostgreSQL数据库 ,已经深入阿...

阿里云RDS-数据库内核组
2017/07/03
0
0
《Django企业开发实战》大纲-草稿

《Django企业开发实战》大纲-草稿 the5fire的技术博客2017-07-2016 阅读 在国内写技术书籍可能是件吃力不讨好的事情,弄不好还会被骂,所以大部分有能力写书的人,不想在这个上面花那么多时间...

the5fire的技术博客
2017/07/20
0
0
Kylin设置JDBC配置greenplum数据源

Kylin设置JDBC配置greenplum数据源 kylin最开始的时候支持hive和kafka作为数据源,从2.3.0版本之后开始支持JDBC作为第第三种数据源。用户可以自定义的数据库或者数据仓库到自己的kylin集群。...

仔仔1993
07/05
0
0
如何在Ubuntu 18.04 LTS上安装和配置MongoDB

如何在Ubuntu 18.04 LTS上安装和配置MongoDB IMCN 18分钟前暂无评论 阅读 9 次 MongoDB是一款非关系型数据库,提供高性能,高可用性和自动扩展企业数据库。 MongoDB是一个非关系型数据库,因...

IMCN
05/05
0
0
greenplum分布式集群(数据仓库)实战

1.准备环境 1.1集群介绍 系统环境:centos6.5 数据库版本:greenplum-db-4.3.3.1-build-1-RHEL5-x86_64.zip greenplum集群中,4台机器IP分别是 [root@dw-greenplum-1 ~]# cat /etc/hosts 12...

jxzhfei
2016/04/23
0
0
VMWare中CentOS6.8的Greenplum4.3.12安装

经过查看网络视频、查找网上资料。安装成功GP4.3。下面是安装过程的目录 1. 实验环境4 1.1. 硬件环境4 1.2. 虚拟机配置4 2. 系统设置(所有主节点和数据节点)4 2.1. 基础环境设置4 2.1.1. ...

moonstarseu
2017/05/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

重写视频播放进度条

需要注意的地方,基于html vedio 标准使用期去了解一下 1.想去掉视频默认的播放条,去掉controls属性。 2.需要预加载视频加上preload="auto"属性。 1.js代码 $(function(){ init(); }); var ...

轻量级赤影
2分钟前
0
0
saltstack管理任务计划-添加&删除

1.服务端配置 >>编辑 top.sls 文件 # vim /srv/salt/top.sls //修改为如下 base: '192.168.*.*': - crontest >>编辑crontest.sls文件添加计划任务 cron-test: cron.present: - name: /bin/to......

硅谷课堂
3分钟前
0
0
sql中多表查询及其左连字段

SELECT s.*,t.teach_name FROM `stu` s, `teacher` t WHERE s.teacher_id = t.row_id AND s.teacher_id = 1 s.* s表中 全部字段 t.teach_name t表中teach_name 字段 SELECT s.*,t.teach_nam......

森火
5分钟前
0
0
ES9-mapping参数

1.概述 ElasticSearch提供了丰富的参数对文档字段进行定义,比如字段的分词器、字段权重、日期格式、检索模型等等。可以查看官网每个参数的定义及使用:https://www.elastic.co/guide/en/ela...

贾峰uk
8分钟前
1
0
Java泛型学习

一、泛型的概念 List list = new ArrayList(); list.add("corn"); String name = (String) list.get(0); 1、这里将一个对象放入集合中,集合不会记住次对象的类型,当再次从集合中取出此对象...

cjxcloud
10分钟前
0
0
android屏幕适配

android屏幕适配 采用的是鸿阳的适配方式,项目依赖: compile 'com.zhy:autolayout:1.4.5' 使用步骤: 在manifest文件中标注你的设计图尺寸 <meta-data android:name="design_width" andro...

android-key
15分钟前
0
0
istio 0.8 安装步骤

============================ istio 0.8 安装步骤--------------------------------------- istio 0.8 安装步骤 1.安装k8s环境 参考:http://sealyun.com/pro/products/ master,salve两台机......

xiaomin0322
17分钟前
2
0
tmux 退出不干净问题

tmux ls 已经没有窗口了,但是显示还有在登入 只有强制T下线了。

NLGBZJ
17分钟前
0
0
卡辛斯基的警告

卡辛斯基的警告 作者: 阮一峰 1、 1978年5月25日,美国西北大学的工程教授巴克利·克利斯(Buckley Crist),收到了邮政局退回的一个包裹。 这个包裹寄往芝加哥大学,但是收件人“查无此人”...

祖冲之
18分钟前
1
0
如何一周内学会编程?实战项目中总结经验[图]

如何一周内学会编程?实战项目中总结经验[图]: 我知道有很多草根肯定都是日常有很多各种各样,自己认为非常有价值的想法,但是,苦于自己没有技术,无法实现自己的需求,典型的属于“就差一...

原创小博客
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部