文档章节

hadoop 安装错误收集

盖世英雄到来
 盖世英雄到来
发布于 2015/11/30 12:56
字数 679
阅读 307
收藏 0

[root@hadoop2 ~]# hadoop namenode -format

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

Error: Could not find or load main class "-Djava.library.path=.usr.local.hadoop.lib"

解决办法:

把hadoop环境变量的hadoop_opts引号两端的\\去掉

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


Run on Hadoop编译程序时,出现如下错误:
        WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String)
        原因是因为job.setJarByClass使用了xxx.class的类加载器来寻找包含该类的Jar包,然后设置该Jar包为作业所用的Jar包。但是我们的作业Jar包是在程序运行时才打包的,而xxx.class的类加载器是AppClassLoader,运行后我们无法改变它的搜索路径,所以使用setJarByClass是无法设置作业Jar包的。
        将本工程导出的jar包放到工程根目录下面,并在提交程序前添加下面的设置:
        conf.set("mapred.jar", "xxx.jar"); //其中,xxx.jar是你导出的jar文件名,注意第一个参数不要拼写错了。

6、Run on Hadoop编译程序时,出现如下错误:
        org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=xxx, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
        因为Eclipse使用Hadoop插件提交作业时,会默认以xxx身份去将作业写入hdfs文件系统中,对应的也就是HDFS上的/user/xxx,我的为/user/root,由于xxx用户对hadoop目录并没有写入权限,所以导致异常的发生。解决方法为:放开 hadoop目录的权限 , 方法有二:
        (1)执行如下命令
        $ hadoop fs -chmod 777 /user/root
        (2)修改Hadoop配置
        修改hadoop的配置文件:conf/hdfs-core.xml,找到dfs.permissions的配置项,将value值改为false,具体如下:
        
            dfs.permissions
            false
            
                If "true", enable permission checking in HDFS.
                If "false", permission checking is turned off, but all other behavior is unchanged.
                Switching from one parameter value to the other does not change the mode, owner or group of files or directories.
            
        
        修改完后重启下hadoop的进程使之生效即可。
------------------------------------------------end------------------------------------------------

7、MapReduce操作HBase出现如下错误:
        Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
        Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException
        这是因为Hadoop在调用HBase包时找不到相应jar包,解决办法是将HBase目录下的hbase-0.90.4.jar和lib目录下的zookeeper-3.3.2.jar包拷贝到hadoop/lib下即可,其它这类问题类似。

8、MapReduce操作HBase出现如下错误:
        org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for table
        这是因为HBase中不存在要插入数据的表,在hbase shell中手工创建表格create 'xxx', 'xxx'即可。

9、MapReduce跑job时如果出现如下错误:
        java.lang.RuntimeException: java.lang.ClassNotFoundException
        这是因为Hadoop在找class时没有从jar包中找而出错,解决办法是删除除开jar和.java文件外的所有目录和文件即可。

© 著作权归作者所有

盖世英雄到来
粉丝 1
博文 9
码字总数 7863
作品 0
昌平
架构师
私信 提问
Ambari Metrics介绍

概念 Ambari Metrics是Ambari中负责监控集群状态的功能组件。它有如下一些主要的概念: 简单地说,Ambari收集两类信息放到Collector上: 1. 各节点“系统级”的指标 2. Hadoop各组件的指标 ...

bluishglc
2015/09/01
0
0
windows 环境下Eclipse开发MapReduce环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i5......

加油_张
2013/11/30
13.6K
0
Hadoop集群(第7期)_Eclipse开发环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介   Java版本:jdk-6u31-linux-i586.bin   Linux系统:CentOS6.0   Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介   Java版本:jdk...

Carl_
2015/06/25
53
0
Filebeat—> Elasitcsearch—> Kibana 搭建日志收集系统

1.为什么需要日志收集 当我们的网站规模大到一定程度时我们的服务分散在不同的主机上,当网站发生异常时我们通常通过这些服务的日志来排查系统故障,由于主机众多日志分散在不同的主机上,导...

顶风走千里
2017/11/29
0
0
flume 示例一收集tomcat日志

例子场景描述:将tomcat的日志收集到指定的目录,tomcat 安装在/opt/tomcat, 日志存放在var/log/data。 配置tomcat.conf 如下: # A single-node Flume configuration Name the components ...

kiwisoft
2012/08/08
13.9K
2

没有更多内容

加载失败,请刷新页面

加载更多

Android面试常客之Handler全解

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/fnhfire_7030/article/details/79518819 前言:又到了一年...

shzwork
25分钟前
4
0
position sticky 定位

本文转载于:专业的前端网站➫position sticky 定位 1、兼容性 https://caniuse.com/#search=sticky chrome、ios和firefox兼容性良好。 2、使用场景 sticky:粘性。粘性布局。 在屏幕范围内时...

前端老手
32分钟前
4
0
CentOS 7 yum 安装 PHP7.3 教程

参考:https://www.mf8.biz/centos-rhel-install-php7-3/ 1、首先安装 EPEL 源: yum install epel-release 安装 REMI 源: yum install http://rpms.remirepo.net/enterprise/remi-release......

dragon_tech
47分钟前
4
0
Linux物理网卡聚合及桥接

Linux内部实现的bridge可以把一台机器上的多张网卡桥接起来,从而把自己作为一台交换机。同时,LInux bridge还支持虚拟端口,即桥接的不一定都是物理网卡接口,还可以是虚拟接口。目前主要表...

xiangyunyan
47分钟前
4
0
一起来学Java8(一)——函数式编程

在这篇文章中,我们将了解到在Java8下如何进行函数式编程。 函数式编程 所谓的函数式编程就是把函数名字当做值进行传递,然后接收方拿到这个函数名进行调用。 首先来看下JavaScript如何进行函...

猿敲月下码
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部