文档章节

Windows中Eclipse中Hadoop2.6.0配置

闵开慧
 闵开慧
发布于 2016/04/14 14:47
字数 561
阅读 103
收藏 2
点赞 1
评论 0

Windows10(64位)中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置

1 系统配置

    Windows10(64位)

    Eclipse Luna Service Release 2 (4.4.2 64位)

    Hadoop2.6.0

    JDK1.8.0(64位)

    SVN1.8.6

    ANT1.9.6

2 Eclipse和Hadoop插件制作

    具体制作步骤参考文章:http://my.oschina.net/muou/blog/408543,该文章中Eclipse使用的是Juno版本,制作完全没有问题,但使用Luna版本就会有问题,制作出来的插件Eclipse无法识别。最后自己使用在网上下载的2.2.0版本插件。

    按照步骤将制作成功的插件放进Eclipse的plugin目录下,重启Eclipse即可,如果Eclipse识别该插件在Eclipse中即可看到该图标:

3 Eclipse配置

    3.1 MapReduce引入

        Window --> Show View --> Other,选择Map/Reduce Location,然后点击右键新建Hdfs链接即可。

        

        3.2 Eclipse中Hadoop路径配置

        

4 Hadoop配置

    4.1 解压Hadoop文件,在bin目录中配置hadoop.dll和winutils.exe,这两个插件下载地址:https://codeload.github.com/srccodes/hadoop-common-2.2.0-bin/zip/master。同时将winutils.exe在Windows的system32目录下放一份,然后重启电脑生效。

    4.2 Hadoop配置文件配置,在etc/hadoop下面,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,这四个文件里面的配置参数和集群中配置保持一致,否则无法在Eclipse中直接提交Mapreduce任务到集群。

5 WordCount测试

    新建一个简单的Java工程,如下配置即可正常运行:

6 项目工程文件测试

    项目工程文件测试时一直报错:

    Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:570)
    at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)
    at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:173)
    at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:160)
    at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:94)
    at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.confChanged(LocalDirAllocator.java:285)
    at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:344)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:150)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:131)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:115)
    at org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:131)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:163)
    at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:731)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:432)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Unknown Source)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)
    at service.app.mapreduce.WordCount2.WordCount2.main(WordCount2.java:104)

    

        研究后发现,是工程插件配置的问题。后来发现mahout和spark两个相应的jar文件不能放在user library里面,而直接导入即可正常运行。jar文件配置如下所示:


© 著作权归作者所有

共有 人打赏支持
闵开慧
粉丝 334
博文 600
码字总数 266601
作品 0
青浦
高级程序员
Windows下使用Hadoop2.6.0-eclipse-plugin插件

首先说一下本人的环境: Windows7 64位系统 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写...

木偶 ⋅ 2015/04/30 ⋅ 14

eclipse连hadoop2.x运行wordcount

一、新建java工程,并且导入hadoop相关jar包 4.1.2 新建java工程(需要手动导入hadoop相应jar包),具体如下图所示: 4.1.2.1 新建java工程完成后,下面添加hadoop相应jar包,hadoop2.3.0相应...

cjun1990 ⋅ 2015/07/07 ⋅ 0

搭建spark on yarn集群全过程

搭建spark on yarn集群全过程 Mz的博客2016-03-24225 阅读 大数据SparkHadoopYarn 机器配置 在VMware上创建4个虚拟机来搭建集群。其中一个master,三个salve。 每台虚拟机配置1G内存,1核CPU...

Mz的博客 ⋅ 2016/03/24 ⋅ 0

Hadoop2.6.0集群搭建

一、Hadoop简述 Hadoop实现了一个分布式文件系统(Hadoop Distributed FileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(h...

Amui ⋅ 2016/01/27 ⋅ 0

eclipse 本地连接hadoop 进行开发

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的 1. eclipse 安装hadoop 插件 首先, 下载hadoop 的eclipse插件 一个jar包 下载链接是这里...

KongFanhao ⋅ 2016/06/02 ⋅ 0

java基本集成开发环境搭建

开发环境要求:jdk1.7.079、apache-tomcat-7.0.65、apache-maven-3.2.5、Eclipse Mars、Git; 1、jdk、apache-tomcat安装:安装及配置、环境变量的配置等略; 2、apache-maven-3.2.5安装:下...

wolfsubmarine ⋅ 2015/11/12 ⋅ 0

Poechant 快速安装配置教程:Windows + Ecplise CDT + MinGW开发环境

操作系统:Windows 1. 下载Eclipse CDT和MinGW (1)下载Eclipse: http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/indigo/R/eclipse-cpp-indigo-i......

晨曦之光 ⋅ 2012/04/24 ⋅ 0

hadoop集群配置之hive1.2.0安装部署(远程mysql)

hadoop的版本是2.6.0 根据hive的源数据不同分为三种模式 1、内嵌模式,使用自带的derby 2、本地独立模式,本地mysql库 3、远程模式,远程mysql库 这里主要将第三种模式 #假设hadoop2.6.0已经...

尚浩宇 ⋅ 2015/05/22 ⋅ 0

python+Eclipse+pydev环境搭建

python+Eclipse+pydev环境搭建 本文重点介绍使用Eclipse+pydev插件来写Python代码, 以及在Mac上配置Eclipse+Pydev 和Windows配置Eclipse+Pydev 编辑器:Python 自带的 IDLE 简单快捷, 学习...

Airship ⋅ 2015/11/13 ⋅ 0

Eclipse和PyDev搭建完美Python开发环境(Windows篇)

Eclipse和PyDev搭建完美Python开发环境(Windows篇) 目录 安装Python python for eclipse插件安装 配置PyDev插件 测试 安装Python 从网站上下载最新的版本,从http://python.org/download/...

Airship ⋅ 2015/11/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CENTOS7防火墙命令记录

安装Firewall命令: yum install firewalld firewalld-config Firewall开启常见端口命令: firewall-cmd --zone=public --add-port=80/tcp --permanent firewall-cmd --zone=public --add-po......

cavion ⋅ 今天 ⋅ 0

【C++】【STL】利用chromo来测量程序运行时间与日志时间打印精确到微秒

直接上代码吧,没啥好说的。头疼。 #include <iostream>#include <string>#include <ctime>#include <sstream>#include <iomanip>#include <thread>#include <chrono>using ......

muqiusangyang ⋅ 今天 ⋅ 0

Mac环境下svn的使用

在Windows环境中,我们一般使用TortoiseSVN来搭建svn环境。在Mac环境下,由于Mac自带了svn的服务器端和客户端功能,所以我们可以在不装任何第三方软件的前提下使用svn功能,不过还需做一下简...

故久呵呵 ⋅ 今天 ⋅ 0

破解公司回应苹果“USB限制模式”:已攻破

本周四,苹果发表声明称 iOS 中加入了一项名为“USB 限制模式”的功能,可以防止 iPhone 在连接其他设备的时候被破解,并且强调这一功能并不是针对 FBI 等执法部门,为的是保护用户数据安全。...

六库科技 ⋅ 今天 ⋅ 0

MyBtais整合Spring Boot整合,TypeHandler对枚举类(enum)处理

概要 问题描述 我想用枚举类来表示用户当前状态,枚举类由 code 和 msg 组成,但我只想把 code 保存到数据库,查询处理,能知道用户当前状态,这应该怎么做呢?在 Spring 整合MyBatis 的时候...

Wenyi_Feng ⋅ 今天 ⋅ 0

synchronized与Lock的区别

# <center>王梦龙的读书笔记第一篇</center> ## <center>-synchronized与Lock的区别</centre> ###一、从使用场景来说 + synchronized 是能够注释代码块、类、方法但是它的加锁是和解锁使用一......

我不想加班 ⋅ 今天 ⋅ 0

VConsole的使用

手机端控制台打印输出,方便bug的排查。 首先需要引入vconsole.min.js 文件,然后在文件中创造实例。就能直接使用了。 var vConsole = new VConsole(); vConsole的文件地址...

大美琴 ⋅ 今天 ⋅ 0

Java NIO之字符集

1 字符集和编解码的概念 首先,解释一下什么是字符集。顾名思义,就是字符的集合。它的初衷是把现实世界的符号映射为计算机可以理解的字节。比如我创造一个字符集,叫做sex字符集,就包含两个...

士别三日 ⋅ 今天 ⋅ 0

Spring Bean基础

1、Bean之间引用 <!--如果Bean配置在同一个XML文件中,使用local引用--><ref bean="someBean"/><!--如果Bean配置在不同的XML文件中,使用ref引用--><ref local="someBean"/> 其实两种......

霍淇滨 ⋅ 今天 ⋅ 0

05、基于Consul+Upsync+Nginx实现动态负载均衡

1、Consul环境搭建 下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/local/srcwget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip 解压consu......

北岩 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部