文档章节

Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS

vigiles
 vigiles
发布于 2013/05/20 23:07
字数 481
阅读 7227
收藏 6

1.解压eclipse

         eclipse-SDK-4.2-linux-gtk.tar.gz
        (1)解压程序文件:

hm@hm-ubuntu:/usr$ sudo tar eclipse.tar.gz

          

           

        (2)在Ubuntu桌面点鼠标右键,创建启动器:   

             

        (3)在“命令”选择eclipse执行文件:

          

          

2.安装hadoop开发插件: 

        hadoop-eclipse-plugin-*.jar插件须符合此eclipse版本。    

        (1)手动制作hadoop-eclipse-plugin插件  

                见《Hadoop上路_01-手动制作hadoop-eclipse-plugin插件》 

        (2)把插件放入%eclipse%/dropins/hadoop/plugins目录  

                首先在%eclipse%/dropins/中创建hadoop/plugins层级目录  

3.执行快捷方式: 

          

        错误:   
               重新配置了环境变量中的jdk路径,eclipse不能检测到新路径 

                 

        解决: 
              更新环境变量后重启系统    

              
              

4.配置Hadoop视图:

        
        

        1window -> preferences -> Hadoop Map/Reduce,              

                配置任意hadoop解压目录(仅在创建Map/Reduce Project项目时供自动加载jar包用;如果创建Java Project可以置空):   

                  

                 错误: 
                        jdk版本错误
                        当前使用的hadoop-eclipse-plugin-1.1.2插件是基于JDK1.7制作的,而系统中安装的是JDK1.6

eclipse.buildId=M20130204-1200
java.version=1.6.0_24
java.vendor=Sun Microsystems Inc.
BootLoader constants: OS=linux, ARCH=x86, WS=gtk, NL=zh_CN
Command-line arguments:  -os linux -ws gtk -arch x86

Error
Sun May 19 09:10:21 CST 2013
Unable to create the selected preference page.

java.lang.UnsupportedClassVersionError: org/apache/hadoop/eclipse/preferences/MapReducePreferencePage : Unsupported major.minor version 51.0   

at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632)
at java.lang.ClassLoader.defineClass(ClassLoader.java:616)
at org.eclipse.osgi.internal.baseadaptor.DefaultClassLoader.defineClass(DefaultClassLoader.java:188)
at org.eclipse.osgi.baseadaptor.loader.ClasspathManager.defineClassHoldingLock(ClasspathManager.java:632)
... ... 
at org.eclipse.equinox.launcher.Main.run(Main.java:1438)  

                 
  

                解决:
                        升级当前系统的JDK版本到插件使用的1.7。    

        2)打开Hadoop视图,      

                  

        3)新建Hadoop Location连接,             

                

        4)配置主机、端口,          

                   

        5)完成:          

                    

                “local”下的目录即HDFS中的目录。可以直接在上面进行下载、创建、上传、删除等操作:

                   

                错误:
                        hadoop-eclipse-plugin-*.jar插件中jar包引用错误  

                          

An internal error occurred during: "Map/Reduce location status updater".  
org/codehaus/jackson/map/JsonMappingException            

              解决: 
                     在制作插件时%hadoop%/src/contrib/eclipse-plugin/META-INF/MANIFEST.MF中的Bundle-ClassPathjar的路径写错导致的,修改正确,重新制作。  

5.创建项目:

        在Map/Reduce视图中创建java project: 

          

- end

© 著作权归作者所有

vigiles

vigiles

粉丝 99
博文 84
码字总数 82564
作品 0
昌平
程序员
私信 提问
Hadoop上路_02-hadoop介绍和环境准备

Hadoop介绍: 1. Hadoop项目组成: 1)hadoop Common : hadoop的核心。包括文件系统、远程调用RPC的序列化函数。 2)HDSF : 高吞吐量分布式文件系统。是GFS的开源实现。通过hadoop fs命令来读...

vigiles
2013/05/20
739
0
Hadoop上路_08-在win7中配置eclipse连接Ubuntu内的hadoop

1.设置Ubuntu静态IP: hm@hm-ubuntu:~$ ifconfig 1)配置网卡参数到interfaces文件: hm@hm-ubuntu:~$ sudo gedit /etc/network/interfaces 2)重启网卡: hm@hm-ubuntu:~$ sudo /etc/init.d......

vigiles
2013/05/21
3K
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
199
0
【Hadoop】之 熟悉常用的HDFS操作

参考: http://www.jianshu.com/p/0663d74b79b5 一、实现目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统:Ubu...

fanfan4569
2017/09/03
0
0
Hadoop伪分布配置与基于Eclipse开发环境搭建

1、开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP + Putty Hadoop版本:2.5.0 Hadoo...

loki_lan
2014/09/02
17K
19

没有更多内容

加载失败,请刷新页面

加载更多

最好的重试是指数后退和抖动

1. 概述 在本教程中,我们将探讨如何使用两种不同的策略改进客户端重试:指数后退和抖动。 2. 重试 在分布式系统中,多个组件之间的网络通信随时可能发生故障。 客户端应用程序通过实现重试来...

liululee
29分钟前
4
0
聊一聊大厂内部的安全管理机制

工作了两个月了体会到了很多之前做外包小项目没有的东西,不得不说大厂的还是有自己一套的完善的体制,不会像B站那样泄露自己整个后台的源码这种事情发生。 电脑办公 比如说在使用电脑办公这...

gzc426
57分钟前
6
0
如何利用deeplearning4j中datavec对图像进行处理

NativeImageLoader Labelloader = new NativeImageLoader(112, 112, 3,new FlipImageTransform(-1)); 一、导读 众所周知图像是有红绿蓝三种颜色堆叠而成,利用deeplearning对图像处理,必须把...

冷血狂魔
58分钟前
8
0
1. Context - React跨组件访问数据的利器

《react-router-dom源码揭秘》系列 2. React-Router的基本使用 3. react-router-dom源码揭秘 - BrowserRouter Context提供了一种跨组件访问数据的方法。它无需在组件树间逐层传递属性,也可以...

前端老手
今天
6
0
Docker入门实战--开篇,为什么要使用Docker

前面Thrift文章中,我曾经介绍过我为什么要用Thrift。Docker的使用却是不一样的。纯属没事找事,因为我现在一个人的团队,项目只要一个project目录足够了! 那我何苦要用Docker呢 各位且听听...

后天的奇点
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部