文档章节

Greenplum 三节点安装教程(非root用户)

仔仔1993
 仔仔1993
发布于 06/20 20:12
字数 1035
阅读 27
收藏 1

Greenplum 三节点安装教程(非root用户)

  1. 环境准备

安装vmware,装三台centos

虚拟机设置:

主机名

IP

内存

硬盘

node1

Xxx1

2G

80G

node2

Xxx2

2G

80G

node3

Xxx3

2G

80G

  1. CSDN下载greenplum安装文件: greenplum-db-4.3.8.2-build-1-RHEL5-x86_64
  2. 安装

首先关闭防火墙:service iptables stop  关闭

                             Chkconfig iptables off 关闭开机启动

三机器修改hosts

Xxx1       node1

Xxx2       node2

Xxx3       node3

 

修改或添加/etc/sysctl.conf(三台机器)

xfs_mount_options = rw,noatime,inode64,allocsize=16m

kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1025 65535

net.core.netdev_max_backlog = 10000
vm.overcommit_memory = 2

 

配置/etc/security/limits.conf,添加以下内容,三台机器都要

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

 

三台机器设置预读块的值为16384

# /sbin/blockdev --getra /dev/sda 查看预读块,默认大小为256
# /sbin/blockdev --setra 16384 /dev/sda  设置预读块

 

 

三台机器设置磁盘访问I/O调度策略

#echo deadline > /sys/block/sda/queue/scheduler

 

在主节点安装安装包

./ greenplum-db-4.3.8.2-build-1-RHEL5-x86_64.bin

安装过程中遇到默认的直接回车,遇到yes|no输入yes,安装完之后或有一个greenplum的文件夹和一个指向geenplumn的greenplum-db的链接。

 

主节点获取环境参数(三台机器,可将其配置到.bashrc文件中)

# source /your_install_path/greenplum-db/greenplum_path.sh

需要注意的是:这个.sh文件会修改pythonhome,会影响系统自带的python环境,以及依赖系统python的一切应用

 

/your_install_path/grennplum文件夹下创建文件all_hosts,(三台机器),内容如下:

Node1

Node2

Node3

 

在主节点运行gpseginstall工具,来安装从节点segment

# gpseginstall -f all_hosts -u U_username -p U_password

其中all_hosts是刚刚创建的文件,安装过程中会让你输入三台机器的密码,输入即可。

 

在你的安装用户下(非root用户)验证无密码登录(三台机器)

使用gpssh工具来测试无密码登录所有的主机

 gpssh -f all_hosts -e ls -l $GPHOME

 

创建存储区域(主节点)

  1. 创建master数据存储区域

mkdir -p /data/master

  1. your_install_path创建一个包含所有segment主机名的文件seg_hosts,内容如下:

node2

node3

  1. 使用gpssh工具在所有的degment的主机上创建主数据和镜像数据目录,如果没有设置镜像数据可以不设置mirror目录:

Gpssh -f seg_hosts -e ‘mkdir -p your_install_path/data/primary’

Gpssh -f seg_hosts -e ‘mkdir -p your_install_path/data/mirror

 

       同步三台机器的系统时间

  1. 在主节点上编辑/etc/ntp.conf来设置一下内容:

server 127.127.1.0

  1. 在segment主机上编辑/etc/ntp.conf

Server node1

  1. 在主节点上的your_install_path通过NTP守护进程同步系统时钟

gpssh -f all_hosts -v -e 'ntpd'

 

       验证操作系统设置

       gpcheck -f all_hosts -m mdw

       运行结果是否有error信息,如果有的话,处理掉错误信息后重新执行上面的命令直到没有错误为止。

       需要注意的是:本例不是使用root用户安装的,他会一直报错说不是root用户安装,这里需要更改gpcheck这个python文件,找到验证用户是否是root的地方,将root改为你自己的安装用户即可。

 

       创建greenplun数据库配置文件

  1. 使用安装用户登录
  2. 修改gpinitsystem_config文件
  3. 设置所有必须参数

ARRAY_NAME="EMC Greenplum DW"

SEG_PREFIX=gpseg

PORT_BASE=40000

declare -a DATA_DIRECTORY=(your_install_path/data/primary)

MASTER_HOSTNAME=node1

MASTER_DIRECTORY=your_install_path/data/master

MASTER_PORT=5432

TRUSTED SHELL=ssh

CHECK_POINT_SEGMENT=8

 ENCODING=UNICODE

  1. 设置可选参数

MIRROR_PORT_BASE=50000
  REPLICATION_PORT_BASE=41000
  MIRROR_REPLICATION_PORT_BASE=51000
  declare -a MIRROR_DATA_DIRECTORY=(/ your_install_path data/mirror)

      

       运行初始化工具初始化数据库

       gpinitsystem -c gpinitsystem_config -h seg_hosts 成功之后数据库就启动了

 

       三节点设置环境变量,export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

 

       启动和停止数据库测试是否能够正常启动和关闭

       Gpstart

       Gpstop

 

       访问数据库

  1. 客户端访问

Psql -d postgres

  1. 程序远程访问

修改pg_hba.conf文件,加入如下内容:

Hosts       all           all           ip/32       trust

Hosts       all           all           127.0.0.1/32    trust

然后执行GPStop -u

© 著作权归作者所有

共有 人打赏支持
仔仔1993
粉丝 5
博文 54
码字总数 52357
作品 0
武汉
后端工程师
最新hadoop下载安装教程(附详细图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明:分享的所有...

adnb34g
08/03
0
0
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
08/03
0
0
hadoop零基础入门教程--DKHadoop的安装配置教程

使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOY...

左手的倒影
08/31
0
0
实战:Install greenplum cluster on ubuntu 16.04

规划:1个msater, 2个segments 环境:ubuntu 16.04 Greenplum Version: 'postgres (Greenplum Database) 5.3.0 build 2155c5a-oss 1、安装 sudo add-apt-repository ppa:greenplum/db sudo ap......

forestwater
2017/12/19
0
0
SSL 与数字证书 - 结束语

目录 第一章 为什么网络是不安全的? 第二章 信息安全的基本概念 第一节 安全的定义 第二节 认证与授权 第三章 加密与算法 第一节 散列(HASH) 第二节 对称加密(SYMMETRIC CRYPTOGRAPHY) ...

虫虫
2012/03/01
0
6

没有更多内容

加载失败,请刷新页面

加载更多

如何通过 J2Cache 实现分布式 session 存储

做 Java Web 开发的人多数都会需要使用到 session (会话),我们使用 session 来保存一些需要在两个不同的请求之间共享数据。一般 Java 的 Web 容器像 Tomcat、Resin、Jetty 等等,它们会在...

红薯
今天
3
0
C++ std::thread

C++11提供了std::thread类来表示一个多线程对象。 1,首先介绍一下std::this_thread命名空间: (1)std::this_thread::get_id():返回当前线程id (2)std::this_thread::yield():用户接口...

yepanl
今天
3
0
Nignx缓存文件与动态文件自动均衡的配置

下面这段nginx的配置脚本的作用是,自动判断是否存在缓存文件,如果有优先输出缓存文件,不经过php,如果没有,则回到php去处理,同时生成缓存文件。 PHP框架是ThinkPHP,最后一个rewrite有关...

swingcoder
今天
2
0
20180920 usermod命令与用户密码管理

命令 usermod usermod 命令的选项和 useradd 差不多。 一个用户可以属于多个组,但是gid只有一个;除了gid,其他的组(groups)叫做扩展组。 usermod -u 1010 username # 更改用户idusermod ...

野雪球
今天
3
0
Java网络编程基础

1. 简单了解网络通信协议TCP/IP网络模型相关名词 应用层(HTTP,FTP,DNS等) 传输层(TCP,UDP) 网络层(IP,ICMP等) 链路层(驱动程序,接口等) 链路层:用于定义物理传输通道,通常是对...

江左煤郎
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部