文档章节

Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS

vigiles
 vigiles
发布于 2013/05/20 23:07
字数 481
阅读 7234
收藏 6

1.解压eclipse

         eclipse-SDK-4.2-linux-gtk.tar.gz
        (1)解压程序文件:

hm@hm-ubuntu:/usr$ sudo tar eclipse.tar.gz

          

           

        (2)在Ubuntu桌面点鼠标右键,创建启动器:   

             

        (3)在“命令”选择eclipse执行文件:

          

          

2.安装hadoop开发插件: 

        hadoop-eclipse-plugin-*.jar插件须符合此eclipse版本。    

        (1)手动制作hadoop-eclipse-plugin插件  

                见《Hadoop上路_01-手动制作hadoop-eclipse-plugin插件》 

        (2)把插件放入%eclipse%/dropins/hadoop/plugins目录  

                首先在%eclipse%/dropins/中创建hadoop/plugins层级目录  

3.执行快捷方式: 

          

        错误:   
               重新配置了环境变量中的jdk路径,eclipse不能检测到新路径 

                 

        解决: 
              更新环境变量后重启系统    

              
              

4.配置Hadoop视图:

        
        

        1window -> preferences -> Hadoop Map/Reduce,              

                配置任意hadoop解压目录(仅在创建Map/Reduce Project项目时供自动加载jar包用;如果创建Java Project可以置空):   

                  

                 错误: 
                        jdk版本错误
                        当前使用的hadoop-eclipse-plugin-1.1.2插件是基于JDK1.7制作的,而系统中安装的是JDK1.6

eclipse.buildId=M20130204-1200
java.version=1.6.0_24
java.vendor=Sun Microsystems Inc.
BootLoader constants: OS=linux, ARCH=x86, WS=gtk, NL=zh_CN
Command-line arguments:  -os linux -ws gtk -arch x86

Error
Sun May 19 09:10:21 CST 2013
Unable to create the selected preference page.

java.lang.UnsupportedClassVersionError: org/apache/hadoop/eclipse/preferences/MapReducePreferencePage : Unsupported major.minor version 51.0   

at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632)
at java.lang.ClassLoader.defineClass(ClassLoader.java:616)
at org.eclipse.osgi.internal.baseadaptor.DefaultClassLoader.defineClass(DefaultClassLoader.java:188)
at org.eclipse.osgi.baseadaptor.loader.ClasspathManager.defineClassHoldingLock(ClasspathManager.java:632)
... ... 
at org.eclipse.equinox.launcher.Main.run(Main.java:1438)  

                 
  

                解决:
                        升级当前系统的JDK版本到插件使用的1.7。    

        2)打开Hadoop视图,      

                  

        3)新建Hadoop Location连接,             

                

        4)配置主机、端口,          

                   

        5)完成:          

                    

                “local”下的目录即HDFS中的目录。可以直接在上面进行下载、创建、上传、删除等操作:

                   

                错误:
                        hadoop-eclipse-plugin-*.jar插件中jar包引用错误  

                          

An internal error occurred during: "Map/Reduce location status updater".  
org/codehaus/jackson/map/JsonMappingException            

              解决: 
                     在制作插件时%hadoop%/src/contrib/eclipse-plugin/META-INF/MANIFEST.MF中的Bundle-ClassPathjar的路径写错导致的,修改正确,重新制作。  

5.创建项目:

        在Map/Reduce视图中创建java project: 

          

- end

© 著作权归作者所有

vigiles

vigiles

粉丝 99
博文 84
码字总数 82564
作品 0
昌平
程序员
私信 提问
Hadoop上路_02-hadoop介绍和环境准备

Hadoop介绍: 1. Hadoop项目组成: 1)hadoop Common : hadoop的核心。包括文件系统、远程调用RPC的序列化函数。 2)HDSF : 高吞吐量分布式文件系统。是GFS的开源实现。通过hadoop fs命令来读...

vigiles
2013/05/20
742
0
Hadoop上路_08-在win7中配置eclipse连接Ubuntu内的hadoop

1.设置Ubuntu静态IP: hm@hm-ubuntu:~$ ifconfig 1)配置网卡参数到interfaces文件: hm@hm-ubuntu:~$ sudo gedit /etc/network/interfaces 2)重启网卡: hm@hm-ubuntu:~$ sudo /etc/init.d......

vigiles
2013/05/21
3K
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
207
0
【Hadoop】之 熟悉常用的HDFS操作

参考: http://www.jianshu.com/p/0663d74b79b5 一、实现目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统:Ubu...

fanfan4569
2017/09/03
0
0
Hadoop伪分布配置与基于Eclipse开发环境搭建

1、开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP + Putty Hadoop版本:2.5.0 Hadoo...

loki_lan
2014/09/02
17K
19

没有更多内容

加载失败,请刷新页面

加载更多

springboot 403 问题

添加WebAppConfigurer 配置 @Configuration@EnableAutoConfigurationpublic class WebAppConfigurer extends WebMvcConfigurerAdapter { public WebAppConfigurer() { } ......

布袋和尚_爱吃鱼
4分钟前
1
0
Python自动更换壁纸爬虫与tkinter结合

直接上代码 import ctypesimport timeimport requestsimport osfrom threading import Threadfrom tkinter import Tk, Label, Button,Entry,StringVar,messagebox# '放到AppData\Roami......

物种起源-达尔文
4分钟前
1
0
Postgresql Study 笔记

Postgresql 安装 Windows, MAC Install Postgresql 下载地址: https://www.enterprisedb.com/downloads/postgres-postgresql-downloads Linux Install sudo apt-get update sudo apt-get in......

slagga
6分钟前
1
0
layer.open 打开新页面传参问题

如图所示,点击出售,把A页面的数据传到弹框上面,因为弹框比较复杂,所以使用引入一个新页面。 A.html a.js B.html b.js 1、第一种方案 sellInte: function (){ var obj = document.g...

木九天
9分钟前
1
0
沙龙报名 | 区块链数据服务技术应用实践

京东云是国内首家提供区块链数据在线分析服务产品的公司,也是行业内首家对区块链数据服务进行开源的公司。 本次沙龙是京东云BDS开源后,首次在深圳举办线下沙龙,我们将邀请京东云BDS团队核...

京东云技术新知
10分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部