文档章节

Hdoop 学习笔记

猿神出窍
 猿神出窍
发布于 2016/03/08 18:05
字数 467
阅读 222
收藏 2

   简介:Hadoop分布式系统体系结构的核心: HDFS和MapReduce 。HDFS在集群上实现分布式文件系统MapReduce在集群上实现了分布式计算任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。

  一 搭建环境:

  1 Linux 操作系统  

 2 Linux远程连接工具 xshell+xftp

 3 Hadoop 源码下载地址

     http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz

   启动Hadoop

    1 ./etc/hadoop/hadoop-env.sh 中设置 JAVA_HOME 变量,即在该文件中找到:
    export JAVA_HOME=${JAVA_HOME}
    将这一行改为JAVA安装位置:

   修改配置文件

   2 配置完成后,执行 NameNode 的格式化: /bin/hdfs namenode -format

        修改core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zjf/hadoop-0.20.2/tmpPath</value> !这里改下路径
</property>
</configuration>

   修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

   启动hdfs  start-dfs.sh  

   停止 stop-dfs.sh

   配置yarn

  修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 

   修改 yarn-site.xml 文件

#添加如下内容

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

       启动yarn

       start-yarn.sh

        #停止yarn stop-yarn.sh

    管理界面:http://localhost:8088

  NameNode界面:http://localhost:50070

      HDFS NameNode界面:http://localhost:8042

  二  在Eclipse下装入Hadoop插件:

https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

将jar放在eclipse的plugin下,重启eclipse

打开Window->View View->Other 选择Map/Reduce Tools,单击Map/Reduce Locations,会打开一个View,

添加Hadoop Loacation,其中Host和Port的内容跟据conf/hadoop-site.xml的配置填写,UserName 是用户名,如

 

 

 

 

 

 

 

© 著作权归作者所有

猿神出窍
粉丝 18
博文 196
码字总数 73823
作品 0
沙坪坝
项目经理
私信 提问
加载中

评论(0)

用java读取hdfs的.lzo_deflate文件报错

linux环境没有问题,hadoop环境、配置也没有问题,并且通过hdoop fs -text 指令能正常打开该压缩文件。但是用java读取就报错了,请大神帮忙看看,谢谢 代码如下: public static void main(...

曾庆之
2016/09/10
780
3
Hbase 1.0.1单机版安装

1.首先从官网上下载http://mirror.bit.edu.cn/apache/hbase/hbase-1.0.1/hbase-1.0.1-bin.tar.gz 安装包 2.解压缩到安装目录,tar -xvf hbase-1.0.1-bin.tar.gz 3.修改conf/hbase-site.xml <......

木偶
2015/05/11
1.7K
0
《Pro ASP.NET MVC 3 Framework》学习笔记目录

《Pro ASP.NET MVC 3 Framework》简介: 作者: Adam Freeman 和 Steven Sanderson 出版社: Apress; New 平装: 820页 语种: 英语 ISBN: 1430234040 声明:笔记里面按我自己的理解翻译了大部分...

mszhangxuefei
2012/02/07
0
0
MyBatis学习笔记系列教程

【MyBatis学习笔记】系列之预备篇一:ant的下载与安装 【MyBatis学习笔记】系列之预备篇二:ant入门示例 【MyBatis学习笔记】系列之一:MyBatis入门示例 【MyBatis学习笔记】系列之二:MyBat...

HenrySun
2016/10/15
199
0
《HTML5学习笔记简明版》系列技术文章整理收藏

《HTML5学习笔记简明版》系列技术文章整理收藏 HTML5学习笔记简明版来自博客园的汤姆大叔,在HTML5学习笔记简明版汤姆大叔对HTML5有更详细的讲解,收藏在这里供学习参考 1HTML5学习笔记简明版...

开元中国2015
2015/06/22
11
0

没有更多内容

加载失败,请刷新页面

加载更多

Python学习06.09:什么是描述符,Python描述符详解

Python 中,通过使用描述符,可以让程序员在引用一个对象属性时自定义要完成的工作。 本质上看, 描述符就是一个类,只不过它定义了另一个类中属性的访问方式。换句话说,一个类可以将属性管...

qwz185_堡垒
27分钟前
39
0
一文教你如何用Redis构建高性能锁

前言 在这里粗略的说一下,zk锁性能比redis低的原因:zk中的角色分为leader,flower,每次写请求只能请求leader,leader会把写请求广播到所有flower,如果flower都成功才会提交给leader,其实...

JAVA一方
31分钟前
27
0
java面向对象2(3)继承内存图+final详解

一. 继承内存图示 继承内存图:先父后子 继承中,方法是如何调用: 先去子类找方法,能找到就使用 如果找不到,去父类中找 如果父类也找不到,就去父类的父类找。 如果继承树上都找不到,最终...

煌sir
35分钟前
46
0
多线程——系列四

线程基本方法 线程相关的基本方法有 wait,notify,notifyAll,sleep,join,yield 等。 线程等待( wait ) 调用该方法的线程进入 WAITING 状态,只有等待另外线程的通知或被中断才会返回,...

李向1994
37分钟前
57
0
SQL查询结果数据排序(二)

> 【SQL从一点一滴分析系列文章】为实际开发中的点点滴滴的总结,从最最简单的SQL 查询 到 综合分析查询 在分析 SQL 时,也会同时分析 mybatis 、Hibernate 中的相关操作 点击查看详情 > 本节...

赵子龙
42分钟前
23
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部