文档章节

Centos7 cdh5.14 安装

lwenhao
 lwenhao
发布于 03/14 10:24
字数 1044
阅读 8
收藏 0

Centos7 cdh5.14 安装

192.168.1.70
192.168.1.71
192.168.1.72

关闭SELINUX

vim /etc/selinux/config

SELINUX=enforcing改成SELINUX=disabled

关闭防火墙

关闭防火墙(服务器重启后,防火墙会开启)

systemctl stop firewalld.service

禁止防火墙开机启动(服务器重启后,防火墙不会开启)

systemctl disable firewalld.service

修改hostname

hostnamectl set-hostname xxxx

配置hosts文件

vim /etc/hosts

添加:

192.168.1.70 cdh1
192.168.1.71 cdh2
192.168.1.72 cdh3

ssh无密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

master免密码登录worker【单台,只需在主节点上执行】

ssh-copy-id -i ~/.ssh/id_rsa.pub cdh1
ssh-copy-id -i ~/.ssh/id_rsa.pub cdh2
ssh-copy-id -i ~/.ssh/id_rsa.pub cdh3

时钟同步

设置开机自动同步Internet时间,并作定时同步任务

修改时区

rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

vim /etc/sysconfig/clock

ZONE="Asia/Shanghai"
UTC=false
ARC=false

安装并设置开机自启

yum install -y ntp
systemctl start ntpd
systemctl enable ntpd

配置开机启动校验

vim /etc/rc.d/rc.local /usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

配置定时任务

crontab -e
0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

安装jdk

下载jdk-8u201-linux-x64.rpm

下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

chmod 755 jdk-8u201-linux-x64.rpm
rpm -i jdk-8u201-linux-x64.rpm

配置环境变量:

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

安装wget

yum install wget

安装MySQL5.7

  • mysql只需在主节点安装
  • mysql5.6开始mysql服务启动时会为root用户生成一个临时密码,通过grep 'password'  /var/log/mysqld.log命令获取
  • 配置密码验证策略,我选择的是不使用密码验证策略,以便创建简单密码
  • 配置数据库字符集,我配置默认的字符集是utf8。

下载安装mysql

下载并安装MySQL官方的 Yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

使用上面的命令就直接下载了安装用的Yum Repository,然后就可以直接yum安装了。

yum -y install mysql57-community-release-el7-10.noarch.rpm

之后就开始安装MySQL服务器。

yum -y install mysql-community-server

mysql配置

首先启动MySQL

systemctl start  mysqld.service

通过如下命令可以在日志文件中找出密码:

grep "password" /var/log/mysqld.log

登录之后修改密码策略:

set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;

修改初始化密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '654321';

配置mysql

新建一个scm用户,并赋予所有权限,密码是scm

grant all on *.* to 'scm'@'127.0.0.1' identified by 'scm' with grant option;
grant all on *.* to 'cdhuser'@'%' identified by '654321' with grant option;
flush privileges;

安装Clouder Manager及CDH

所有节点操作:

新建目录

mkdir /opt/cloudera-manager

上传Cloudera Manager安装包,下载地址:https://www.cloudera.com/downloads/cdh/5-14-2.html 解压

tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

创建用户cloudera-scm,由于Cloudera Manager和Managed Services默认使用cloudera-scm,所以需要创建此用户

useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

【主节点】创建Cloudera Manager服务本地数据存储目录

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

配置【所有节点】的Agent

vim /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-agent/config.ini

将server_host修改成主节点的主机名,如果主节点端口没有自定义,则不用修改。

下载mysql-connector-java.jar,并保存到所有主机的/usr/share/java目录下 要解压到java目录下,并重命名成mysql-connector-java.jar

初始化

创建数据库scm

create database scm;

注意字符集,我选用的是utf-8

初始化cloudera manager

/opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh  mysql scm scm scm

将CDH安装包移动主节点的/opt/cloudera/parcel-repo目录下 下载地址:https://www.cloudera.com/downloads/cdh/5-14-2.html

mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/

启动主节点的CM  Server和所有节点的Agent 提示没有找到命令pstree时,安装这个:

yum install psmisc

cd /opt/cloudera-manager/cm-5.14.1/etc/init.d

主节点:

./cloudera-scm-server start
./cloudera-scm-agent start

其他节点:

./cloudera-scm-agent start

打开CM管理页面

http://192.168.1.70:7180

用户名和密码都是admin

© 著作权归作者所有

lwenhao
粉丝 4
博文 115
码字总数 63080
作品 0
海淀
程序员
私信 提问
搭建基于http的本地yum源服务器

概述 yum相较于rpm,能够更好地解决安装软件时的依赖包问题,使用yum安装更简单更方便。搭建本地YUM源服务器,可以避免升级安装软件时占用公网带宽;有了本地YUM源服务器,可以解决无法连接I...

Zero零_度
2016/09/29
31
0
CentOS7环境部署kubenetes1.12版本五部曲之五:安装kubectl

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/83717786 本文是《CentOS7环境部署kubenetes1.12版本五部曲》系列的终篇,前面章节我们已搭...

博陵精骑
2018/11/04
0
0
centos7安装图形化界面

centOS7下安装GUI图形界面 1、如何在centOS7下安装GUI图形界面 当你安装centOS7服务器版本的时候,系统默认是不会安装GUI的图形界面程序,这个需要手动安装CentOS7 Gnome GUI包。 2、在系统下...

KMT1994
2017/10/18
0
0
Docker实践(一):安装

前提 系统:我这边都使用虚拟机安装的CentOS7,具体安装可以参考:Windows安装Linux虚拟机(CentOS7) yum:推荐更新下yum:yum update;我们这边CentOS7自带docker,如果没有安装docker可以用y...

u010246789
2016/12/31
0
0
CentOS7学习笔记

写在前面:本笔记根据学习CentOS7中遇到的问题整理,以便日后学习参考。 1.安装CentOS7 1.1.下载地址 完整安装 最小安装 1.2.安装步骤 参考网页: U盘安装CentOS 7.0图文详解教程 用 CentOS...

fortyone41
2016/10/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

中奖名单 | “赠书活动”中奖名单公布

在上周的赠书活动中, 小伙伴们踊跃参与! 京小云也很认真地进行了统计, 非常感谢大家的参与和支持! 下面公布中奖的名单~ 请中奖的小伙伴于5个工作日内 在微信公众号后台留下你的联系地址 ...

京东云技术新知
13分钟前
1
0
云原生生态周报 Vol. 11 | K8s 1.16 早知道

业界要闻 Pivotal 发布了完全基于 Kubernetes 的 Pivotal Application Service(PAS)预览版 这意味着 Pivotal 公司一直以来在持续运作的老牌 PaaS 项目 Cloud Foundry (CF)终于得以正式拥...

阿里巴巴云原生
14分钟前
0
0
低版本xcode真机调试iOS 12.3.1

老款mac pro已经升级不了系统了,导致最新版的xcode10.2及以上也安装不了,最新版的ios12.3.1也联机调试不了,apple是要逼着大家升级硬件啊,软件即服务,就是这样来的,大部分计算机软件公司...

swingcoder
14分钟前
4
0
浅谈堆排序

一:定义 堆排序(英语:Heapsort)是指利用堆这种数据结构所设计的一种排序算法。堆排序是一种树形选择排序,在排序过程中可以把元素看成是一颗完全二叉树,每个节点都大(小)于它的两个子...

无名氏的程序员
16分钟前
2
0
Alibaba Cloud Linux 2 开源后又有什么新动作?

阿里妹导读:2019 年 4 月,Alibaba Cloud Linux 2 (Aliyun Linux 2) 正式开源。时至今日,已经走过三个月的里程。在这段时间内,这个刚诞生不久的为阿里云 ECS 环境定制优化的 Linux 操作系...

阿里云官方博客
17分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部