文档章节

Deepgreen & Greenplum DBA小白普及课之二(管理问题解答)

 爱哭的小魔女
发布于 2017/07/03 15:03
字数 1773
阅读 3
收藏 0

原文链接

摘要: 不积跬步无以至千里,要想成为一名合格的数据库管理员,首先应该具备扎实的基础知识及问题处理能力。本文参考Pivotal官方FAQ,对在管理Deepgreen & Greenplum时经常会遇到的问题提出解决思路/答案。

074f69580b19f3e9185c564025209dfa3cfad3e7

不积跬步无以至千里,要想成为一名合格的数据库管理员,首先应该具备扎实的基础知识及问题处理能力。本文参考Pivotal官方FAQ,对在管理Deepgreen & Greenplum时经常会遇到的问题提出解决思路/答案。希望对大家有所帮助,如果有朋友有更多的问题分享,请留言,我将一并整理。

 

下面单刀直入,开始问题浏览及解决思路梳理:

1.执行gpstart命令失败了,我该怎么办?

  • 查看gpstart命令在Master执行失败后返回的错误原因;
  • 检查gpstart的启动日志,这里可能存着更详细的信息,日志存储在:~gpadmin/gpAdminLogs/gpstart_yyyymmdd.log;
  • 检查pg startup产生的日志文件$MASTER_DATA_DIRECTORY/pg_log/startup.log,看能否发现蛛丝马迹;
  • 如果Segment启动失败,在以上几个日志中,我们可以定位出启动失败的Segment编号,紧接着我们可以切换到对应的Segment 主机下面,找到以上两个日志去查看Segment失败的具体原因。

2.为什么我们需要gpstart -m和gpstop -m命令?

  • 这两个命令允许我们只启动或关闭Master,不启动Segment数据节点。这两个命令主要用来配合管理员做一些数据库高级配置操作,一般用户最好不要使用。

3.如何查看数据库在线时间?

在psql界面执行如下语句:

postgres=# select now() - pg_postmaster_start_time() ;
       ?column?       
-----------------------
 1 day 13:51:04.865115
(1 row)

 

4.怎样才能删除Mirror节点?

  • Deepgreen和Greenplum不提供Mirror节点删除工具,所以添加Mirror之前请慎重考虑。如果非要去除Mirror节点,可以重新初始化集群,再把之前的数据恢复回来。

5.gpcheckcat是用来干嘛的?如何执行这个命令?

gpcheckcat工具用来检查Master和Segments之间的catalog差异,存在$GPHOME/bin/lib目录下,如果没有设置到环境变量,需要手工切换到该目录下执行。

语法如下:

Usage: gpcheckcat [dbname]

        -?
        -B parallel: number of worker threads
        -g dir     : generate SQL to rectify catalog corruption, put it in dir
        -h host    : DB host name
        -p port    : DB port number
        -P passwd  : DB password
        -o         : check OID consistency
        -U uname   : DB User Name
        -v         : verbose

执行举例(报告结果在最后):

dgadmin@flash:~/deepgreendb/bin/lib$ ./gpcheckcat postgres

Connected as user 'dgadmin' to database 'postgres', port '15432', gpdb version '4.3'
-------------------------------------------------------------------
Performing test 'duplicate'
Total runtime for this test: 0:00:24.49
Performing test 'missing_extraneous'
Total runtime for this test: 0:00:25.51
Performing test 'inconsistent'
Total runtime for this test: 0:00:40.60
Performing test 'foreign_key'
Total runtime for this test: 0:00:01.74
Performing test 'acl'
Total runtime for this test: 0:00:00.04
Performing test 'persistent'
Total runtime for this test: 0:00:00.38
Performing test 'pgclass'
Total runtime for this test: 0:00:00.01
Performing test 'namespace'
Total runtime for this test: 0:00:00.05
Performing test 'distribution_policy'
Total runtime for this test: 0:00:00.00
Performing test 'dependency'
Total runtime for this test: 0:00:02.18
Performing test 'owner'
Total runtime for this test: 0:00:00.04
Performing test 'part_integrity'
Total runtime for this test: 0:00:00.03
Performing test 'part_constraint'
Total runtime for this test: 0:00:00.04
Performing test 'duplicate_persistent'
Total runtime for this test: 0:00:00.43

SUMMARY REPORT
===================================================================
Total runtime for 14 test(s): 0:01:35.59
Found no catalog issue

 

6.怎样删除Standby?

  • 想要移除当前配置的Standby节点,只需要在Master主机上执行命令:gpinitstandby -r   。

7.如何执行Master和Standby之间的重新同步?

如果已经配置了Standby节点,并且想要同步主备之间的数据,可以执行以下命令:

gpinitstandby -n

 

8.如何恢复一个无效的Segment节点?

  • 使用gprecoverseg工具,它能识别哪个Segment需要被恢复并执行恢复。

9.如何增加Mirror节点?

  • 如果集群初始化没有配置Mirror节点,可以通过gpaddmirrors工具增加Mirror节点。
  • 具体命令执行细节请参考:gpaddmirrors --help

10.如何查看Master,primary和mirror之间的映射关系?

通过执行下面语句,看整个集群映射关系:

postgres=# select * from gp_segment_configuration order by dbid;
 dbid | content | role | preferred_role | mode | status | port  | hostname | address | replication_port | san_mounts
------+---------+------+----------------+------+--------+-------+----------+---------+------------------+------------
    1 |      -1 | p    | p              | s    | u      | 15432 | flash    | flash   |                  |
    2 |       0 | p    | p              | s    | u      | 25432 | flash    | flash   |            28432 |
    3 |       1 | p    | p              | s    | u      | 25433 | flash    | flash   |            28433 |
    4 |       0 | m    | m              | s    | u      | 26432 | flash    | flash   |            27432 |
    5 |       1 | m    | m              | s    | u      | 26433 | flash    | flash   |            27433 |
(5 rows)

 

11.如何以管理模式启动集群?

限制模式:

  • 执行gpstart -R可以启动限制模式,此时只有超级用户才可以连接到数据库。

系统模式:

  • 执行gpstart -m可以启动系统模式,此时我们可以单独连接到某一个Master或者Segment实例,例如只连接到Master实例
dgadmin@flash:~$ PGOPTIONS='-c gp_session_role=utility' psql -d postgres
psql (8.2.15)
Type "help" for help.

postgres=#

 

12.如何运行I/O、netperf检查工具gpcheckperf?

针对每个网络接口卡的网络I/O测试:

gpcheckperf -f seg_host_file_nic-1 -r N -d /data/gpcheckperf > seg_host_file_nic_1.out
gpcheckperf -f seg_host_file_nic-2 -r N -d /data/gpcheckperf > seg_host_file_nic_2.out

针对磁盘IO的测试:

gpcheckperf -f seg_host_file_nic-1 -r ds -D -d /data/gpdb_p1 -d  /data/gpdb_p2 -d /data/gpdb_m1 -d  /data/gpdb_m2

 

13.如何更新postgresql.conf文件并使生效?

  • 除了常规的修改postgresql.conf文件并重载/重启使参数生效外,还可以使用gpconfig工具进行设置。具体命令参见:gpconfig --help

14.pg_hba.conf文件是干嘛用的?

  • Master主机上的pg_hba.conf文件用来控制客户端访问及授权。具体如何配置请参见官方数据库管理手册。

15.如何增加数据库新用户?

首先,可以使用createuser命令:

dgadmin@flash:~$ createuser --help
createuser creates a new PostgreSQL role.

Usage:
  createuser [OPTION]... [ROLENAME]

Options:
  -c, --connection-limit=N  connection limit for role (default: no limit)
  -d, --createdb            role can create new databases
  -D, --no-createdb         role cannot create databases
  -e, --echo                show the commands being sent to the server
  -E, --encrypted           encrypt stored password
  -i, --inherit             role inherits privileges of roles it is a
                            member of (default)
  -I, --no-inherit          role does not inherit privileges
  -l, --login               role can login (default)
  -L, --no-login            role cannot login
  -N, --unencrypted         do not encrypt stored password
  -P, --pwprompt            assign a password to new role
  -r, --createrole          role can create new roles
  -R, --no-createrole       role cannot create roles
  -s, --superuser           role will be superuser
  -S, --no-superuser        role will not be superuser
  --help                    show this help, then exit
  --version                 output version information, then exit

Connection options:
  -h, --host=HOSTNAME       database server host or socket directory
  -p, --port=PORT           database server port
  -U, --username=USERNAME   user name to connect as (not the one to create)
  -w, --no-password         never prompt for password
  -W, --password            force password prompt

If one of -d, -D, -r, -R, -s, -S, and ROLENAME is not specified, you will
be prompted interactively.

Report bugs to <pgsql-bugs@postgresql.org>.

其次,可以在psql窗口通过sql命令创建:

CREATE USER or ROLE <ROLE_NAME> ....

 

16.如何在所有主机之间创建密码互信?

使用gpssh-exkeys工具来创建,参见下面语法:

gpssh-exkeys -h hostname1 -h hostname2 ..  -h hostnameN

 

17.如何查看数据库版本信息?

首先可以通过psql界面执行select version(); sql语句:

postgres=#  select version();
                                                                                           version                                                                                         

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-
 PostgreSQL 8.2.15 (Greenplum Database 4.3.99.00 build Deepgreen DB) on x86_64-unknown-linux-gnu, compiled by GCC gcc (Ubuntu 4.9.4-2ubuntu1~14.04.1) 4.9.4 compiled on May 18 2017 05:19:19
(1 row)

其次,可以通过在shell界面执行命令:postgres --gp-version查看:

原文链接

本文转载自:

粉丝 0
博文 105
码字总数 7329
作品 0
私信 提问
Greenplum vs Deepgreen - gpfdist外部表和xdrive hdfs对比测试

今天给大家分享一篇关于Greenplum与Deepgreen外部数据加载的小测试。 首先必要的前提条件有: 1)Greenplum 4.3和Deepgreen 16.x安装完毕 2)已经搭建好xdrive环境和gpfdist环境 3)准备测试...

闻术苑
01/07
66
0
Greenplum和Deepgreen性能简单对比

之前做过一个Greenplum和Deepgreen在多个维度的性能对比,数据量比较少,分享给大家供参考~ 背景数据: 1.服务器数量:单台Dell R730,普通HDD; 2.数据量:大概有3000万,表大小为10GB左右...

闻术苑
01/04
0
0
Deepgreen(Greenplum) 多机部署测试 , TPC-H VS citus

标签 PostgreSQL , deepgreen , greenplum , citus , tpch , 多机部署 背景 多机部署deepgreen,与greenplum部署方法类似。 本文仅用于测试。 1 环境 与之前测试citus的环境一致,9台ECS虚拟...

德哥
04/14
0
0
(TPC-H测试 SF=10,SF=200) PostgreSQL 11 vs 10 vs Deepgreen

标签 PostgreSQL , TPC-H , HTAP 背景 去年测的PostgreSQL 10 vs Deepgreen. 《TPC-H测试 - PostgreSQL 10 vs Deepgreen(Greenplum)》 PG每年发一个大版本,此次PostgreSQL 11即将release,对......

德哥
04/14
0
0
Greenplum 6已合并到PostgreSQL 9.3版本 - 比上一代GP提升:8倍读,195倍更新、删除 - 另有大量PG新特性

标签 PostgreSQL , Greenplum , 6 , gin , 异步事务 背景 Greenplum 6已合并到PostgreSQL 9.3版本 - 相比5性能提升:读8倍,更新、删除195倍 - 另有大量PG新特性,详见PostgreSQL release no...

德哥
04/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.7K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部