文档章节

hadoop伪集群作业及hadoop-eclipse-pluging

千面人
 千面人
发布于 2017/02/24 18:56
字数 562
阅读 47
收藏 1

首先介绍下基本信息:

  • hadoop版本:2.7.1
  • 服务器:Ubuntu 16.04.1 LTS    JDK1.7 
  • 开发环境:Win10    JDK1.7    Eclipse4.5.1

1.如何安装配置

这部分内容强烈建议查看官网文档[1]。基本就是下载(wget),解压(tar),配置环境变量(export)。

这样就可以本地独立模式(Local (Standalone) Mode)运行了。官网文档中跑的例子是grep,当然你也可以跑著名的wordcount。

  $ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input output

接下来是伪集群的配置:

涉及三个配置文件:

etc/hadoop/core-site.xml:(配置namenode的位置,用ip进行配置,我还更改了tmp目录

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://10.1.13.2:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/dev1/hadoop</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

etc/hadoop/mapred-site.xml(JobTracker的配置,这个文件我没有按照官网的yarn配置):

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>10.1.13.2:9001</value>
    </property>
</configuration>

*有些特别注意事项:

  • 需要对HDFS进行格式化(如果更改过hadoop.tmp.dir,使用前也要重新格式化)
      $ bin/hdfs namenode -format

    需要在HDFS中创建 /user/<username>文件夹(<username>要替换成真实的用户名)

  •   $ hdfs dfs -mkdir -p /user/<username>
  • 需要实现ssh的免密码登录
  •   $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
      $ chmod 0600 ~/.ssh/authorized_keys

完成这些,就可以启动hadoop了。

  $ sbin/start-all.sh

启动后,可以通过 http://10.1.13.2:50070/dfshealth.html 查看dfs的情况。

2.在windows下开发环境配置

接下来转到windows,使用hadoop-eclipse-plugin连接hadoop。

我没找到插件的官方地址,只有个github地址:https://github.com/winghc/hadoop2x-eclipse-plugin

1)下载插件,放到eclipse/plugins目录下,然后重启,插件就安装好了。

2)下载hadoop-2.7.1,解压到指定目录(我是解压到d:\dev\env中),然后在Window-->Preferences中设置hadoop安装路劲。

3)需要注意的一点,windows下需要一个hadoop.dll文件【2】,下载后放到C:\Window\System32下。

4)配置HADOOP_HOME环境变量,否则运行时会报错。

5)新建hadoop location

如果一切顺利就可以连接到hdfs了

6)run on hadoop

参考:

【1】官网伪集群文档 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

【2】hadoop2.7.1对应的hadoop.dll,winutils.exe等 http://blog.csdn.net/n1007530194/article/details/49473667

【3】hadoop github地址 https://github.com/apache/hadoop

© 著作权归作者所有

千面人
粉丝 18
博文 48
码字总数 24904
作品 0
杭州
高级程序员
私信 提问
加载中

评论(2)

Vegetable
Vegetable
感谢博主分享,受益匪浅!
Vegetable
Vegetable
感谢博主分享,受益匪浅!
大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶
2018/05/05
0
0
【Hadoop】- Hadoop1.x 伪分布式环境搭建

Hadoop体系的主要组件:HDFS/MapReduce HDFS: Hadoop Distribution File System NameNode、SecondNameNode:名称节点 作用:维护Hadoop中存储数据块的相关信息,例如记录hadoop集群中某个数...

ZeroneLove
02/24
0
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
181
0
hadoop(05)、使用Eclipse连接远程Hadoop集群

在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来...

MaxBill
2017/12/22
386
0
Hadoop 开发工具--Apache HDT

The Hadoop Development Tools (HDT) 是 Eclipse IDE 针对 Hadoop 平台的开发插件集i 在 Eclipse IDE 中 Apache HDT 包括: 为 Hadoop 基础项目创建提供向导 为创建 Mapper/Reducer/Driver ...

叶秀兰
2014/08/02
806
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
423
10
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
4
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
3
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
7
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部