文档章节

CDH错误汇总(持续更新)

 云逸清风
发布于 07/29 10:40
字数 609
阅读 1
收藏 0

1.  CDH安装过程中出现 socket.gaierror: [Errno -2] Name or service not known

原因:  服务器可能IP或mac地址冲突

解决: rm -rf /usr/bin/host

2.  HDFS-副本不足的块

原因:  

设置的副本备份数与DataNode的个数不同。dfs.replication的默认是3,也就是说副本数--块的备份数默认为3份。但是我这只有两个DataNode。所以导致了达不到目标,副本备份不足。

解决: 

2.1. 设置目标备份数为2

2.2. 通过命令修改当前备份数

点击集群-HDFS-配置,搜索dfs.replication,设置为2后保存更改。

dfs.replication这个参数其实只在文件被写入dfs时起作用,虽然更改了配置文件,但是不会改变之前写入的文件的备份数。

所以我们还需要步骤2,在cm0中通过命令更改备份数:

这里的-R 2的数字2就对应我们的DataNode个数。

su  hdfs
hadoop fs -setrep -R 2 /

3.  root运行hadoop命令还是很多Permission denied

原因:  
修复root使用
permissions of '/user': Permission denied. user=root is not the owner of inode=user

这是因为这些文件不是本地文件,而是集群上的文件。

所以root用户对他们没有操作执行权限。

而CDH安装hadoop时默认设立了hdfs用户是对集群文件的最高权限用户。

所以需要给root用户集群文件的权限。

2个步骤

1.在mater机器也就是cm0中运行一下命令给权限即可。

sudo -u hdfs hadoop fs -mkdir /user/root
sudo -u hdfs hadoop fs -chown root:root /user/root

sudo -u hdfs  hadoop fs -ls  /user

sudo -u hdfs  hadoop fs -chmod 777 /user

2.在hdfs的配置文件中,将dfs.permissions修改为False

两个步骤都需要执行。

重启HDFS服务。

cm0中hdfs用户运行
如果以上设置后root运行还是会报权限错误,那我们还是使用hdfs用户运行即可。

su hdfs

然后执行命令hadoop fs -setrep -R 2 /等命令。注意是在master机器cm0中su hdfs才行。

如果是在slave机器cm1或者cm2会报sudo: unable to execute /usr/bin/hadoop: Permission denied。
 

© 著作权归作者所有

云逸清风

粉丝 0
博文 29
码字总数 8432
作品 0
海淀
技术主管
私信 提问
0006-Zookeeper指标分析

问题描述 通过CDH管理平台,进入Zookeeper管理界面,Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变,指标数据异常。 2.问题复现 登录CDH平台,进入Zookeeper管理页...

Hadoop实操
2018/11/15
23
0
Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷。 在线安装Cloudera Manager服务器 # 配置cloudera-cdh源和cloudera-manager源 # cloudera-manager wget ht...

hsbxxl
2018/05/17
0
0
CDH安装系统环境准备——系统版本和安装包下载地址指南

由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。接下来的日子里,小编将带大...

pengdongcheng
2018/04/23
0
0
IE9 访问 OSChina 的问题汇总

今天安装了 IE9 ,然后开始对 OSChina 进行暴力测试,目前已经发现的问题汇总如下: 1. TinyMCE 编辑器无法正常使用,主要现象是无法编辑、无法提交、无法弹出对话框 2. 昨天新增的顶部用户条...

红薯
2010/09/16
880
11
oozie使用中的一些小结(持续完善)

0 关于oozie 寻找包寻找位置原则: oozie在运行的时候 只会去两个地方寻找自己需要的lib eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录 ...

Zero零_度
2016/09/23
64
0

没有更多内容

加载失败,请刷新页面

加载更多

家庭作业——苗钰婷

2 编写一个程序,发出一声警报,然后打印下面的文本: Startled by the sudden sound, Sally shouted, "By the Great Pumpkin, what was that! #include<stdio.h>int main(){......

OSC_Okruuv
18分钟前
4
0
经典系统设计面试题解析:如何设计TinyURL(一)

原文链接: https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
19分钟前
2
0
2.面向对象设计原则(7条)

开闭原则 开闭原则的含义是:当应用的需求改变时,在不修改软件实体的源代码或者二进制代码的前提下,可以扩展模块的功能,使其满足新的需求。 实现方法 可以通过“抽象约束、封装变化”来实...

Eappo_Geng
21分钟前
4
0
8086汇编基础 debug P命令 一步完成loop循环

    IDE : Masm for Windows 集成实验环境 2015     OS : Windows 10 x64 typesetting : Markdown    blog : my.oschina.net/zhichengjiu    gitee : gitee.com/zhichengjiu   ......

志成就
25分钟前
3
0
使用nodeJS实现前端项目自动化之项目构建和文件合并

本文转载于:专业的前端网站➜使用nodeJS实现前端项目自动化之项目构建和文件合并 前面的话   一般地,我们使用构建工具来完成项目的自动化操作。本文主要介绍如何使用nodeJS来实现简单的项...

前端老手
39分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部