文档章节

hadoop入门

十一月不远
 十一月不远
发布于 2014/04/21 15:21
字数 783
阅读 1413
收藏 23

#目的 (Purpose)# 这篇文档描述了怎样安装和配置一个单节点的Hadoop,并且利用Hadoop MapReduce和HDFS进行简单的操作。 #先决条件(Prerequisites)# ##支持的操作系统平台(Supported Platforms)##

  • 支持GUN/Linux,并且可以作为开发和生产平台,Hadoop被证明在GUN/Linux上的集群可以达到2000个节点
  • Win32仅仅支持作为开发平台,分布式操作在Win32上没有进行很好的测试,不推荐作为生产平台

##必须的软件## Linux和Windows都必须的软件:

  1. Java 1.6及以上,最好是Sun Java环境
  2. ssh 必须安装并且sshd必须运行通过使用Hadoop scripts来管理运程Hadoop进程

Windows:

  • cygwin
  • open ssh

#准备运行Hadoop集群# 解压下载的hadoop分发包,修改/conf/hadoop-env.sh来指定JAVA_HOME 然后运行bin/hadoop,显示hadoop操作指令

现在你已经准备好了开始你的Hadoop集群。hadoop集群支持以下3中模式:

  • Local(Standalone)Mode(本地/独立/单机模式)
  • Pseudo_Distributed Mode(伪分布式模式)
  • Fully-Distributed Mode(完全的分布式模式)

#Standalone 模式# 这也是Hadoop的默认运行模式,此时作为一个单独的Java 进程,此模式对Debugging非常有用。 下面的例子演示了单机模式 $ mkdir input $ cp conf/.xml input $ bin/hadoop jar hadoop-examples-.jar grep input output 'dfs[a-z.]+' $ cat output/*

#Pseudo—Distributed模式# Hadoop 也可以在一个单独的节点上以伪分布式模式运行,此时,每一个Hadoop程序作为一个独立的Java进程运行。 ##配置(Configuration)## conf/core-site.xml:

<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

conf/hdfs-site.xml:

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

conf/mapred-site.xml:

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>

##setup passphraseless ssh## 检查你是否可以使用ssh不需要passphrase登录到localhost ssh localhost

eg:ssh localhost The authenticity of host '[localhost]:11201 ([::1]:11201)' can't be established. RSA key fingerprint is 01:05:83:c6:d3:a7:7a:92:c6:c0:0c:3e:55:60:85:b1. Are you sure you want to continue connecting (yes/no)?

如上如果不能登录,执行下面代码配置本地ssh $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

此时,运行ssh localhost xxx@xxx:~/programs/hadoop-1.2.1$ ssh localhost Linux xxx 2.6.32-5-amd64 #1 SMP Fri Feb 15 15:39:52 UTC 2013 x86_64

The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. You have new mail. Last login: Mon Apr 21 14:10:46 2014 from localhost

##execution(执行)## 格式化一个新的分布式文件系统 `bin/hadoop namenode -format 启动hadoop程序 $ bin/start-all.sh 此时hadoop伪分布式模式完成。

hadoop后台程序日志输出到${HADOOP_LOG_DIR},默认为${HADOOP_HOME}/logs) Haddop同时提供了Web接口,默认可以访问:

##测试操作## Copy the input files into the distributed filesystem: $ bin/hadoop fs -put conf input

Run some of the examples provided: $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

Examine the output files:

Copy the output files from the distributed filesystem to the local filesytem and examine them: $ bin/hadoop fs -get output output $ cat output/*

or

View the output files on the distributed filesystem: $ bin/hadoop fs -cat output/*

When you're done, stop the daemons with: $ bin/stop-all.sh

#完全分布式模式#

© 著作权归作者所有

上一篇: scala基础
下一篇: playframework安装
十一月不远

十一月不远

粉丝 39
博文 78
码字总数 61436
作品 1
海淀
程序员
私信 提问
(高清,无码)全国第一部hadoop教程全发布,陆续更新中......

雷锋来了,hadoop教程合集! Hadoop从入门到上手企业开发第1天 http://pan.baidu.com/s/1c0vU0dq Hadoop从入门到上手企业开发第2天 http://pan.baidu.com/s/1gd5XKXX Hadoop从入门到上手企业...

大象分享
2015/02/25
2K
17
大数据怎样才能踏入进去?年薪60万大数据架构师教你如何入门!

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

董黎明
2018/06/09
71
0
hadoop hive hbase 入门学习 (三)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列 hado......

curiousby
2015/03/12
0
0
想当程序员?从这里入门吧!

想当程序员? 没找到合适的入门教程? 实验楼上有啊,各技术入门教程~ 【C 语言入门教程】 C语言,不用多介绍,大多数人的入门语言;除了入门教程,还有很多实战项目教程呢,学完基础直接动手...

实验楼
2017/11/21
0
0
hadoop最新稳定版本dkhadoop版本选择介绍

Hadoop对于从事互联网工作的朋友来说已经非常熟悉了,相信在我们身边有很多人正在转行从事hadoop开发的工作,理所当然也会有很多hadoop入门新手。Hadoop开发太过底层,技术难度远比我们想象的...

adnb34g
2018/07/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

深入理解JVM - 类加载机制

类加载过程 一个类型从被加载到虚拟机内存中开始,到卸载出内存为止,它的整个生命周期将会经历加载(Loading)、验证(Verification)、准备(Preparation)、解析(Resolution)、初始化(...

xiaolyuh
14分钟前
99
0
脸盲症的小伙伴 测试下你的脸盲症程度

笔者在背单词的时候突然想到了一个问题,就是背单词的时候,相近的词容易混淆,例如:coast和roast,在我背诵的时候,我就很烦恼,不光是英文单词,还有汉字,例如“籍”和“藉“,我还是个中...

蛤蟆丸子
15分钟前
62
0
「网易官方」极客战记(codecombat)攻略-地牢-囚犯the-prisoner

解放囚犯,你会得到盟友。 简介 敬请期待! 默认代码 # 释放囚犯,击败守卫并夺取宝石。 # 从"Weak Door"后解救Patrick。 # 击败名为"Two"的守卫。 # 获得宝石。 概览 您可以按照名称 "Weak ...

极客战记
17分钟前
32
0
Final cut pro 10.4.4中文版本

1.双击打开dmg,点击红框图示 2.出现这个界面后直接回车 3直接将fcp拖拽到application文件夹 然后就可以直接打开了! 百度网盘地址:链接: https://pan.baidu.com/s/1Db9hXmzPV4EdR7_LxEqctA...

kylin_ink
18分钟前
42
0
jquery.validate

规则名称 类型 描述 required Boolean 设置该项内容为必填 remote Json|String 请求远程资源来校验内容有效性 minlength Number 设置内容的最少字符长度 maxlength Number 设置内容的最多字符...

愚蠢的土豆
18分钟前
133
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部