文档章节

对Hadoop安装的补充说明

Zhang_H
 Zhang_H
发布于 2014/03/18 22:38
字数 225
阅读 89
收藏 3

Eclipse关联Hadoop源码

  1. 创建一个JAVA项目,在src目录下添加$HADOOP_HOME/src下的如下文件夹:

             core、hdfs、mapred(目录结构出错:移除后重新添加)

  2. 导入后因为缺少jar包,报错。需要导入以下jar包:

    1. $HADOOP_HOME/lib目录下的所有jar包

    2. $HADOOP_HOME/lib/jsp-2.1目录下的所有jar包

    3. ant.jar

  3. 对于DFSClient.java的错误 import.sun.net.util.IPAddressUtil

    出错原因:sun开头是私有,不公开的一些API,用于开发JDK

    解决:在属性页面的Libary替换JDK

关于启动/关闭Hadoop是出现的警告(Hadoop1.1.2):

Warning: $HADOOP_HOME is deprecated

查看$HADOOP_HOME/bin下的hadoop-config.sh,关键代码如图下所示:


因此,解决办法如下:

在/etc/profile文件中添加:export HADOOP_HOME_WARN_SUPPRESS=1

执行source /etc/profile

重新启动Hadoop问题解决



© 著作权归作者所有

Zhang_H
粉丝 6
博文 39
码字总数 21186
作品 0
西安
私信 提问
Hadoop单机版和伪分布式部署

说明:本文的hadoop安装环境为Ubuntu环境。 运行Hadoop集群的准备工作 1. 安装JDK,配置Java环境 2. SSH免登录(这一步可以忽略,但是启动hadoop的时候,需要手动为每个节点服务输入密码) 先确...

Mr_YangFei
2016/03/24
70
0
Hadoop,HBase 配置 安装 Snappy 终极教程

因为产品需要,这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比,单是这个安装过程,就很痛苦。网上有很多博友写Hadoop Snappy安装过程,大部分是照着Google的文档翻译...

木偶
2015/05/13
1K
0
Hadoop2.4.1分布式安装

1、做好下文中的所有配置:Hadoop1.2.1分布式安装-1-准备篇。 2、Hadoop2.x的发行版中有个小问题:libhadoop.so.1.0.0在64位OS中存在问题,因为它是32位的,在64位OS中hadoop启动时会报一个W...

悟空太多啦
2014/07/30
1K
0
hadoop2.6.0 在64位CentOS 6.4系统上的编译

直接使用官网上下载的hadoop2.6.0在运行时候经常都会遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appl......

霖_柒
2015/12/31
584
0
yarn fair资源池drf调度策略作业不执行的问题调查和分析

问题背景 yarn的fair类型资源池,是企业级hadoop用户常用的资源池类型。该资源池默认的队列调度策略是fair,即分配资源时只考虑内存限制。 对一个多个团队混合使用的大集群来说,如果想要在分...

鸿初
2018/05/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
15
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
15
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部