cloudera:CM使用笔记

原创
2016/06/21 15:37
阅读数 446

1.cloudera manager软件安装目录是在/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib中,其余的配置,命令其实都是来自这里和在这里生效的。

2.cloudera manager配置分发就是把新配置发送到/etc/alternatives/hadoop中和/etc/hadoop中,然后各个服务再使用此配置。

3.cloudera manager各个服务的命令来自/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib中各个服务,有一部分命令发布到/usr下了。只不过是软链接到各个服务的bin下面的命令罢了。

4.cloudera manager官方的中文文档:Cloudera 简介

5.cloudera manager的spark服务器安装成功,但是启动spark shell时报错:SparkDeploySchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED。这是因为多次为集群添加spark服务时,需要将spark的目录清理干净,因为我没有清理/var/run/spark/work,这个目录可能前几次添加失败时,导致这个目录的所有者不是spark,所以spark无法往这里写入内容,所以需要先删除此目录。

6.安装完了各种服务之后,需要将各个服务角色的内存调整一下,cloudera manager默认调整的不是很好。

7.如果要删除cloudera manager或者他们的服务,一定要去下面几个目录找到对应的服务,并且删除。运行的动态文件:/var/lib,运行产生的日志:var/log,运行命令和配置:/etc,如果要卸载cm,还需删除/opt目录下的包。删除/etc/passwd中的用户。

8.刚建立的hdfs集群,只有tmp,user目录是别的用户有权限的,如果有别的用户需要使用hdfs集群,需要先用hdfs用户新建目录,然后把目录的owner赋给需要的用户。

9.cm中各组件有很多配置是cm中没有列出来的,但是我们却要用,只能找到配置中自定义配置的地方,比如说hive的hive.exec.stagingdir配置,需要找到hive的配置,选择高级,然后在Hive 客户端高级配置代码段(安全阀)这里写上自定义的配置(不能在别的地方写,因为这个配置是在hive的客户端配置的,所以必须写到客户端的自定义配置),参考:hive产生很多.staging_hive文件,别的组件想要自定义的配置,也是这个思路。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部