文档章节

在Windows下安装Hadoop 图文教程

小帅帅丶
 小帅帅丶
发布于 2015/01/08 15:49
字数 1472
阅读 441
收藏 3

Windows下运 行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单。在这里咱们就来看看第二种方案:如何再Windows下快速安装一个 Hadoop环境,并结合Eclipse开发环境研究和调整Hadoop代码。

整个安装过程包括以下三大步骤:

  1. 安装和配置Cygwin(http://cygwin.com/install.html)

  2. 安装和配置Hadoop-1.2.1(http://hadoop.apache.org/docs/stable/cluster_setup.html)

  3. 安装和配置Eclipse开发环境

1安装和配置Cygwin

在Windows下通过安装Cygwin模拟Linux环境,然后再安装Hadoop,是一种简单方便的方式,为Hadoop准备的模拟Linux环境安装过程如下:

1.1下载安装文件

针对不同系统类型下载相应的安装文件,下载地址:http://cygwin.com/install.html

我这里的系统是window 7所以下载的是setup-x86.exe

1.2安装Cygwin

刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具,以后想要在模拟Linux环境中安装或更新软件都需要通过这个工具来完成,下面我们就先运行起来这个工具如下:

  1. 左键双击setup-x86.exe文件运行安装向导:

cygwin安装

cygwin安装

  1. 点击【下一步】按钮进入程序引导安装页,这里有三个选项,选择第一项网络安装

    • 网络安装:通过网络下载并安装软件包

    • 下载但不安装:通过网络下载软件包

    • 本地安装:是用本地软件包安装

cygwin安装

cygwin安装

  1. 点击【下一步】进入选择模拟Linux系统的根目录和用户的向导页。在Linux的文件系统中有且只有一个根目录,在这里选择目录就是Linux中的那个根目录了,这里选择默认:c:\cygwin;用户选择第一项:本系统的所有有效用户。

cygwin安装

cygwin安装

  1. 点击【下一步】选择本地软件包目录,该工具会自动记住并将以后下载的所有软件包都会放到这里指定的目录。我这里选择:C:\Users\Administrator\Desktop\1,如果选择不存在目录,就好提示是否创建目录选Yes就OK。

cygwin安装

cygwin安装

  1. 点击【下一步】选择您的网络连接,我这里使用的是代理服务器上网,所以我选择第二项:使用IE浏览器代理设置。经测试选择第三项输入代理服务器地址和端口,不能正常访问网络,原因不明。

cygwin安装

cygwin安装

  1. 点击【下一步】,等待下载镜像站点列表,下载完成后出现选择下载软件包的站点。如图:

cygwin安装

cygwin安装

  1. 根据自己的情况选择合适的下载地址,我这里选择了国内的163站点,点击【下一步】,这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页,如下图:

cygwin安装

cygwin安装

  1. 这一步比较重要,以下软件包要确保被安装:

cygwin安装

cygwin安装

注:这个软件包列表由前到后包括:分类、当前安装版本,最新版本,安装可执行文件?,安装源代码文件?,大小,包名称和说明。

    • 基础软件包:Base及其下面的所有软件包,操作方法:点击Base后面的Default为Install。

    • SSH相关软件包:Net下的OpenSSL和和OpenSSH,用于Hadoop需要的SSH访问,操作方法:点击【+】展开Net节点,点击各个软件包前的最新版本号列的Keep为版本号即为选中安装。

    • 其他软件包根据自己的需要选中是否安装即可,我这里还选中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等常用工具。

  1. 选择完软件包点击【下一步】,进入自动下载与安装,如下图:

    cygwin安装

    cygwin安装

  1. 点击【下一步】进入向导结束页,勾选创建桌面快捷方式点击【完成即可】,如图:

    cygwin安装

    cygwin安装

到这里,您已经完成了模拟Linux环境的安装,左键双击桌面上的图标cygwin安装打开这个模拟Linux的终端窗口输入几个常用Linux命令体验下这个模拟的Linux系统吧,除了可以执行Linux常用命令外,还可以执行Windows的命令例如:net start service_name等。体验完成后继续下面的配置工作。

1.3配置Cygwin的SSH服务

Cygwin安装完成后,需要先配置SSH服务,以满足Hadoop提出的SSH无密码登入,过程如下:

打开模拟Linux的终端,进入Linux环境

执行命令:ssh-host-config如图:

Hadoop安装

  • Hadoop安装

第一次询问:“Should privilege separation be used? (yes/no)”,输入no回车。

第二次询问:“Do you want to install sshd a service?”,输入yes回车。

第三次提示:“Enter the value of CYGWIN for the demon: []”,直接回车。

第四次询问:“Do you want to use a different name? (yes/no)”,输入no回车。

第五次提示:“Please enter the password for user ‘cyg_server’:”,输入密码回车,在此输入密码回车。

最后提示配置完成。

1.4启动SSH服务

在Linux终端或Windows命令行执行net start sshd或命令cygrunsrv –S sshd启动SSH服务。

测试ssh登入本机:

在终端执行命令:ssh localhost

提示输入密码:输入密码回车,如下图:

Hadoop安装

Hadoop安装

 

1.5配置SSH免密码登入

在终端执行命令:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘钥。

执行命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成认证文件。

执行命令:ssh localhost测试是否无需输入密码即可登入。

Hadoop安装

原文地址:http://blog.csdn.net/nazarite_wen/article/details/34409923


本文转载自:http://blog.csdn.net/nazarite_wen/article/details/34409923

共有 人打赏支持
小帅帅丶
粉丝 478
博文 91
码字总数 115967
作品 2
北京
后端工程师
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
08/03
0
0
Windows 7下硬盘安装Ubuntu 14.04图文教程

Ubuntu 官方已经发布了正式版的 Ubuntu 14.04 LTS,并宣称这是为云计算准备的版本。该版本在云平台和伸缩环境的可靠性、性能和交互性都有很好的提升,同时提供 5 年的支持和维护服务。 下面为...

Surjur
2015/06/30
0
0
最新hadoop新手入门教程汇总

关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难...

adnb34g
08/06
0
0
hadoop实操篇:hadoop基础教程汇总

关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难...

左手的倒影
08/06
0
0
Wubi安装 Ubuntu 10.04 图文教程

本图文教程将告诉你在已存在的Windows系统环境中通过Wubi安装Ubuntu 10.04 Lucid Lynx的详细步骤。WUBI是一个Ubuntu 的安装程序,让您在Windows中安装一个正式的Ubuntu Linux操作系统,而不改...

红薯
2010/05/01
39.2K
15

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Minifilter的动态安装、加载及卸载

MINIFILTER框架的文件系统过滤驱动,无法使用的CreateService和OpenService进行动态加载。 看了一下,使用Inf文件安装Minifilter驱动的方式是在注册表驱动服务项下比传统驱动多创建了Instanc...

simpower
17分钟前
0
0
idea新建springCloud项目(6)- Config Server使用

1.在IDEA新建springCloud项目-Config Server 修改版本,和之前建的eureka项目版本一致,修改完记得刷新: 删除掉不需要的文件: 2.把Config S 服务注册到eureka上去,配置git地址,启动项目 ...

monroeCode
23分钟前
3
0
大数据可视化项目开发总纲

第1章 开发文档总纲 1.1 开发工具清单 名称 版本 备注 Pentaho-bi server pentaho-server-ce-7.1 Pentaho Cde为其内置工具 Pentaho-prd pentaho-prd-ce-7.1 Pentaho Report Designer报表工具...

ZhangLG
23分钟前
2
0
pip安装超时问题

pip3 install --default-timeout=100 tensorflow 设置为100秒 参考: User Guide How to solve ReadTimeoutError: HTTPSConnectionPool(host='pypi.python.org', port=443) with pip?......

亚林瓜子
25分钟前
0
0
fragment 旋转时保持当前实例

设备旋转时保存Fragment的交互状态: setRetainInstance(true);

zdglf
27分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部