文档章节

在Windows下安装Hadoop 图文教程

小帅帅丶
 小帅帅丶
发布于 2015/01/08 15:49
字数 1472
阅读 450
收藏 3

Windows下运 行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单。在这里咱们就来看看第二种方案:如何再Windows下快速安装一个 Hadoop环境,并结合Eclipse开发环境研究和调整Hadoop代码。

整个安装过程包括以下三大步骤:

  1. 安装和配置Cygwin(http://cygwin.com/install.html)

  2. 安装和配置Hadoop-1.2.1(http://hadoop.apache.org/docs/stable/cluster_setup.html)

  3. 安装和配置Eclipse开发环境

1安装和配置Cygwin

在Windows下通过安装Cygwin模拟Linux环境,然后再安装Hadoop,是一种简单方便的方式,为Hadoop准备的模拟Linux环境安装过程如下:

1.1下载安装文件

针对不同系统类型下载相应的安装文件,下载地址:http://cygwin.com/install.html

我这里的系统是window 7所以下载的是setup-x86.exe

1.2安装Cygwin

刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具,以后想要在模拟Linux环境中安装或更新软件都需要通过这个工具来完成,下面我们就先运行起来这个工具如下:

  1. 左键双击setup-x86.exe文件运行安装向导:

cygwin安装

cygwin安装

  1. 点击【下一步】按钮进入程序引导安装页,这里有三个选项,选择第一项网络安装

    • 网络安装:通过网络下载并安装软件包

    • 下载但不安装:通过网络下载软件包

    • 本地安装:是用本地软件包安装

cygwin安装

cygwin安装

  1. 点击【下一步】进入选择模拟Linux系统的根目录和用户的向导页。在Linux的文件系统中有且只有一个根目录,在这里选择目录就是Linux中的那个根目录了,这里选择默认:c:\cygwin;用户选择第一项:本系统的所有有效用户。

cygwin安装

cygwin安装

  1. 点击【下一步】选择本地软件包目录,该工具会自动记住并将以后下载的所有软件包都会放到这里指定的目录。我这里选择:C:\Users\Administrator\Desktop\1,如果选择不存在目录,就好提示是否创建目录选Yes就OK。

cygwin安装

cygwin安装

  1. 点击【下一步】选择您的网络连接,我这里使用的是代理服务器上网,所以我选择第二项:使用IE浏览器代理设置。经测试选择第三项输入代理服务器地址和端口,不能正常访问网络,原因不明。

cygwin安装

cygwin安装

  1. 点击【下一步】,等待下载镜像站点列表,下载完成后出现选择下载软件包的站点。如图:

cygwin安装

cygwin安装

  1. 根据自己的情况选择合适的下载地址,我这里选择了国内的163站点,点击【下一步】,这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页,如下图:

cygwin安装

cygwin安装

  1. 这一步比较重要,以下软件包要确保被安装:

cygwin安装

cygwin安装

注:这个软件包列表由前到后包括:分类、当前安装版本,最新版本,安装可执行文件?,安装源代码文件?,大小,包名称和说明。

    • 基础软件包:Base及其下面的所有软件包,操作方法:点击Base后面的Default为Install。

    • SSH相关软件包:Net下的OpenSSL和和OpenSSH,用于Hadoop需要的SSH访问,操作方法:点击【+】展开Net节点,点击各个软件包前的最新版本号列的Keep为版本号即为选中安装。

    • 其他软件包根据自己的需要选中是否安装即可,我这里还选中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等常用工具。

  1. 选择完软件包点击【下一步】,进入自动下载与安装,如下图:

    cygwin安装

    cygwin安装

  1. 点击【下一步】进入向导结束页,勾选创建桌面快捷方式点击【完成即可】,如图:

    cygwin安装

    cygwin安装

到这里,您已经完成了模拟Linux环境的安装,左键双击桌面上的图标cygwin安装打开这个模拟Linux的终端窗口输入几个常用Linux命令体验下这个模拟的Linux系统吧,除了可以执行Linux常用命令外,还可以执行Windows的命令例如:net start service_name等。体验完成后继续下面的配置工作。

1.3配置Cygwin的SSH服务

Cygwin安装完成后,需要先配置SSH服务,以满足Hadoop提出的SSH无密码登入,过程如下:

打开模拟Linux的终端,进入Linux环境

执行命令:ssh-host-config如图:

Hadoop安装

  • Hadoop安装

第一次询问:“Should privilege separation be used? (yes/no)”,输入no回车。

第二次询问:“Do you want to install sshd a service?”,输入yes回车。

第三次提示:“Enter the value of CYGWIN for the demon: []”,直接回车。

第四次询问:“Do you want to use a different name? (yes/no)”,输入no回车。

第五次提示:“Please enter the password for user ‘cyg_server’:”,输入密码回车,在此输入密码回车。

最后提示配置完成。

1.4启动SSH服务

在Linux终端或Windows命令行执行net start sshd或命令cygrunsrv –S sshd启动SSH服务。

测试ssh登入本机:

在终端执行命令:ssh localhost

提示输入密码:输入密码回车,如下图:

Hadoop安装

Hadoop安装

 

1.5配置SSH免密码登入

在终端执行命令:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘钥。

执行命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成认证文件。

执行命令:ssh localhost测试是否无需输入密码即可登入。

Hadoop安装

原文地址:http://blog.csdn.net/nazarite_wen/article/details/34409923


本文转载自:http://blog.csdn.net/nazarite_wen/article/details/34409923

共有 人打赏支持
小帅帅丶

小帅帅丶

粉丝 498
博文 93
码字总数 118342
作品 2
北京
后端工程师
私信 提问
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
08/03
0
0
Wubi安装 Ubuntu 10.04 图文教程

本图文教程将告诉你在已存在的Windows系统环境中通过Wubi安装Ubuntu 10.04 Lucid Lynx的详细步骤。WUBI是一个Ubuntu 的安装程序,让您在Windows中安装一个正式的Ubuntu Linux操作系统,而不改...

红薯
2010/05/01
39.4K
15
Windows 7下硬盘安装Ubuntu 14.04图文教程

Ubuntu 官方已经发布了正式版的 Ubuntu 14.04 LTS,并宣称这是为云计算准备的版本。该版本在云平台和伸缩环境的可靠性、性能和交互性都有很好的提升,同时提供 5 年的支持和维护服务。 下面为...

Surjur
2015/06/30
0
0
最新hadoop新手入门教程汇总

关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难...

adnb34g
08/06
0
0
hadoop实操篇:hadoop基础教程汇总

关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难...

左手的倒影
08/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS配置Tomcat监听80端口,虚拟主机

Tomcat更改默认端口为80 更改的配置文件是: /usr/local/tomcat/conf/server.xml [root@test-a ~]# vim /usr/local/tomcat/conf/server.xml # 找到 Connector port="8080" protocol="HTTP/1......

野雪球
19分钟前
2
0
《稻盛和夫经营学》读后感心得体会3180字范文

《稻盛和夫经营学》读后感心得体会3180字范文: 一代日本经营之圣稻盛和夫凭借刻苦勤奋的精神以及深植于佛教的商业道德准则,成为了“佛系”企业家的代表人物。在《稻盛和夫经营学》“领导人...

原创小博客
58分钟前
1
0
java框架学习日志-5(常见的依赖注入)

依赖注入(dependency injection) 之前提到控制反转(Inversion of Control)也叫依赖注入,它们其实是一个东西,只是看的角度不同,这章详细说一下依赖注入。 依赖——指bean对象创建依赖于...

白话
今天
2
0
红外接收器驱动开发

背景:使用系统的红外遥控软件没有反应,然后以为自己接线错误,反复测试,结果烧坏了一个红外接收器,信号主板没有问题。所以自己开发了一个红外接收器的python驱动。接线参见https://my.os...

mbzhong
今天
2
0
ActiveMQ消息传送机制以及ACK机制详解

AcitveMQ是作为一种消息存储和分发组件,涉及到client与broker端数据交互的方方面面,它不仅要担保消息的存储安全性,还要提供额外的手段来确保消息的分发是可靠的。 一. ActiveMQ消息传送机...

watermelon11
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部