文档章节

Hadoop - 企业级大数据管理平台CDH(小技巧一)

喵了_个咪
 喵了_个咪
发布于 09/20 16:31
字数 527
阅读 41
收藏 1

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 磁盘扩容磁盘迁移

对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么来替换磁盘和增加磁盘就成了一个很重要的事情了,我们先通过cm控制端进入到其中一个datanode管理页面

增加或删除一个磁盘

然后在HDFS页面

二, HBASE-Thrift2

CDH在管理平台中HBASE开启的HBASE-Thrift是使用的Thrift1,Thrift2相对Thrift1对开发更加友好,可以通过如下方式开启Thrift2

/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091

推荐Supervisor守护进程的方式开启

喵咪Liunx(1)计划任务队列脚本后台进程Supervisor帮你搞定 - 喵了个咪博客空间 - 开源中国

;你需要启动的进程给个名字
[program:thrift2]
;你需要执行的语句
command=/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091
;运行程序的用户
user=root

三, 监控报警重启

对于cm-service和cm-agent是没有守护进程的,如果挂掉了也无法得知具体情况,这里就要推荐一波笔者之前的一个工具了<monit>进程监控

喵咪Liunx(4)Monit进程监控 - 喵了个咪博客空间 - 开源中国

cm-service

check process cm-service with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-server.pid  
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server start" 

cm-agent

check process cm-agent with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-agent/cloudera-scm-agent.pid 
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent start"

PS:也以配置邮件通知具体参考之前的博文

© 著作权归作者所有

共有 人打赏支持
喵了_个咪
粉丝 317
博文 150
码字总数 199180
作品 4
杨浦
技术主管
私信 提问
Apache Kylin 首批入驻微软 Azure 镜像市场

2016年9月21日,微软企业技术决策论坛在北京召开。在该论坛上,微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户...

宣屹
2016/09/21
1K
3
Cloudera CDH 、Hortonworks DHP和MapR比较

目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。   手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这...

hblt-j
08/13
0
0
将 OpenStack 私有云部署到 Hadoop MapReduce 环境

随着企业开始同时利用云计算和大数据技术,现在应当考虑如何将这些工具结合使用。在这种情况下,企业将实现最佳的分析处理能力,同时利用私有云的快 速弹性 (rapid elasticity) 和单一租赁的...

IBMdW
2013/02/17
1K
0
Kyligence 发布企业级大数据智能分析平台 KAP

大数据智能分析科技公司Kyligence2016年8月3日,在北京宣布正式发布其企业级大数据智能分析平台KAP(Kyligence Analytics Platform),该平台是基于Apache软件基金会顶级项目Apache Kylin实现...

彤娘娘
2016/08/04
2.1K
0
Hadoop•Spark技术实战训练营,约你来挑战!

这里不鼓吹大数据技术战无不胜, 这里没有遥不可及的趋势展望, 这里更没有华而不实的“经典”案例; ——这是一次将大数据技术化繁为简的旅程—— 关于大数据技术,我们将为你抽丝剥茧,全面...

佳华ICT
2014/07/03
732
0

没有更多内容

加载失败,请刷新页面

加载更多

源码分析 Mybatis 的 foreach 为什么会出现性能问题

背景 最近在做一个类似于综合报表之类的东西,需要查询所有的记录(数据库记录有限制),大概有1W条记录,该报表需要三个表的数据,也就是根据这 1W 个 ID 去执行查询三次数据库,其中,有一...

TSMYK
13分钟前
0
0
IC-CAD Methodology企业实战之openlava

在云计算解决安全问题并成为IC界主流运算平台之前,私有的服务器集群系统仍然是各大IC公司的计算资源平台首选。 现在主流的服务器集群管理系统包括lsf,openlava,SkyForm,三者都属于lsf一系...

李艳青1987
28分钟前
2
0
http response stream 字节流 接收与解码

在接收图片、音频、视频的时候,需要用到二进制流。 浏览器会发给客户端 字节Byte流,一串串的发过来_int8格式 -128~127(十进制),也就是8bit(位)。 客户端接收的时候,对接收到的字节收集,...

大灰狼wow
29分钟前
2
0
配置Tomcat监听80端口...

12月13日任务 16.4 配置Tomcat监听80端口 16.5/16.6/16.7 配置Tomcat虚拟主机 16.8 Tomcat日志 1.配置Tomcat监听80端口 示例一:自定义监听端口 vim /usr/local/tomcat/conf/server.xml 编辑...

hhpuppy
29分钟前
3
0
在ubuntu中配置java环境

先在官网下载一个jdk 进入root权限,避免之后出现创建文件失败或者修改文本失败的问题 sudo i 创建一个文件夹来放置jdk解压后的文件 mkdir 文件夹mv jdk1.9(你下载的jdk文件) 你创建 的文...

无极之岚
29分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部