文档章节

在Windows下安装Hadoop 图文教程

小帅帅丶
 小帅帅丶
发布于 2015/01/08 15:49
字数 1472
阅读 1.2K
收藏 4

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

Windows下运 行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单。在这里咱们就来看看第二种方案:如何再Windows下快速安装一个 Hadoop环境,并结合Eclipse开发环境研究和调整Hadoop代码。

整个安装过程包括以下三大步骤:

  1. 安装和配置Cygwin(http://cygwin.com/install.html)

  2. 安装和配置Hadoop-1.2.1(http://hadoop.apache.org/docs/stable/cluster_setup.html)

  3. 安装和配置Eclipse开发环境

1安装和配置Cygwin

在Windows下通过安装Cygwin模拟Linux环境,然后再安装Hadoop,是一种简单方便的方式,为Hadoop准备的模拟Linux环境安装过程如下:

1.1下载安装文件

针对不同系统类型下载相应的安装文件,下载地址:http://cygwin.com/install.html

我这里的系统是window 7所以下载的是setup-x86.exe

1.2安装Cygwin

刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具,以后想要在模拟Linux环境中安装或更新软件都需要通过这个工具来完成,下面我们就先运行起来这个工具如下:

  1. 左键双击setup-x86.exe文件运行安装向导:

cygwin安装

cygwin安装

  1. 点击【下一步】按钮进入程序引导安装页,这里有三个选项,选择第一项网络安装

    • 网络安装:通过网络下载并安装软件包

    • 下载但不安装:通过网络下载软件包

    • 本地安装:是用本地软件包安装

cygwin安装

cygwin安装

  1. 点击【下一步】进入选择模拟Linux系统的根目录和用户的向导页。在Linux的文件系统中有且只有一个根目录,在这里选择目录就是Linux中的那个根目录了,这里选择默认:c:\cygwin;用户选择第一项:本系统的所有有效用户。

cygwin安装

cygwin安装

  1. 点击【下一步】选择本地软件包目录,该工具会自动记住并将以后下载的所有软件包都会放到这里指定的目录。我这里选择:C:\Users\Administrator\Desktop\1,如果选择不存在目录,就好提示是否创建目录选Yes就OK。

cygwin安装

cygwin安装

  1. 点击【下一步】选择您的网络连接,我这里使用的是代理服务器上网,所以我选择第二项:使用IE浏览器代理设置。经测试选择第三项输入代理服务器地址和端口,不能正常访问网络,原因不明。

cygwin安装

cygwin安装

  1. 点击【下一步】,等待下载镜像站点列表,下载完成后出现选择下载软件包的站点。如图:

cygwin安装

cygwin安装

  1. 根据自己的情况选择合适的下载地址,我这里选择了国内的163站点,点击【下一步】,这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页,如下图:

cygwin安装

cygwin安装

  1. 这一步比较重要,以下软件包要确保被安装:

cygwin安装

cygwin安装

注:这个软件包列表由前到后包括:分类、当前安装版本,最新版本,安装可执行文件?,安装源代码文件?,大小,包名称和说明。

    • 基础软件包:Base及其下面的所有软件包,操作方法:点击Base后面的Default为Install。

    • SSH相关软件包:Net下的OpenSSL和和OpenSSH,用于Hadoop需要的SSH访问,操作方法:点击【+】展开Net节点,点击各个软件包前的最新版本号列的Keep为版本号即为选中安装。

    • 其他软件包根据自己的需要选中是否安装即可,我这里还选中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等常用工具。

  1. 选择完软件包点击【下一步】,进入自动下载与安装,如下图:

    cygwin安装

    cygwin安装

  1. 点击【下一步】进入向导结束页,勾选创建桌面快捷方式点击【完成即可】,如图:

    cygwin安装

    cygwin安装

到这里,您已经完成了模拟Linux环境的安装,左键双击桌面上的图标cygwin安装打开这个模拟Linux的终端窗口输入几个常用Linux命令体验下这个模拟的Linux系统吧,除了可以执行Linux常用命令外,还可以执行Windows的命令例如:net start service_name等。体验完成后继续下面的配置工作。

1.3配置Cygwin的SSH服务

Cygwin安装完成后,需要先配置SSH服务,以满足Hadoop提出的SSH无密码登入,过程如下:

打开模拟Linux的终端,进入Linux环境

执行命令:ssh-host-config如图:

Hadoop安装

  • Hadoop安装

第一次询问:“Should privilege separation be used? (yes/no)”,输入no回车。

第二次询问:“Do you want to install sshd a service?”,输入yes回车。

第三次提示:“Enter the value of CYGWIN for the demon: []”,直接回车。

第四次询问:“Do you want to use a different name? (yes/no)”,输入no回车。

第五次提示:“Please enter the password for user ‘cyg_server’:”,输入密码回车,在此输入密码回车。

最后提示配置完成。

1.4启动SSH服务

在Linux终端或Windows命令行执行net start sshd或命令cygrunsrv –S sshd启动SSH服务。

测试ssh登入本机:

在终端执行命令:ssh localhost

提示输入密码:输入密码回车,如下图:

Hadoop安装

Hadoop安装

 

1.5配置SSH免密码登入

在终端执行命令:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘钥。

执行命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成认证文件。

执行命令:ssh localhost测试是否无需输入密码即可登入。

Hadoop安装

原文地址:http://blog.csdn.net/nazarite_wen/article/details/34409923


本文转载自:http://blog.csdn.net/nazarite_wen/article/details/34409923

小帅帅丶

小帅帅丶

粉丝 531
博文 109
码字总数 143473
作品 2
北京
后端工程师
私信 提问
加载中

评论(0)

超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
2018/08/03
129
0
最新hadoop新手入门教程汇总

关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难...

adnb34g
2018/08/06
0
0
hadoop实操篇:hadoop基础教程汇总

关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难...

左手的倒影
2018/08/06
73
0
最新hadoop下载安装教程(附详细图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明:分享的所有...

adnb34g
2018/08/03
0
0
hadoop入门篇-hadoop下载安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明:分享的所有...

osc_jb8w6ufb
2018/08/03
2
0

没有更多内容

加载失败,请刷新页面

加载更多

屏蔽nginx默认页面或者openresty默认页面

openresty是对nginx做了一层封装,屏蔽nginx或者openresty的默认页面的方法是一样的,就是对nginx/html/index.html进行修改即可。 ssh nginx@126.10.*.* // 使用ssh进行登录,根据提示输入密...

osc_2wznp7fr
21分钟前
23
0
基于Python的arcgis二次开发和ENVI二次开发

https://www.cnblogs.com/jhlong/p/5394530.html https://search.bilibili.com/all?keyword=arcgis%20python...

osc_gkcftr6g
22分钟前
30
0
[Go] gorm 返回指定模型数据的处理方式

重新 var 声明一个变量,类型为包含指定字段的结构体。 查询的时候,还是使用原始模型类型的变量。 example: // For return data var retMember struct { Hash string `json...

osc_eoffv2le
23分钟前
17
0
Spring boot Access-Control-Allow-Origin 问题解决

import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.web.cors.CorsConfiguration;import or......

osc_3361hjxk
24分钟前
8
0
通过人才测评系统,对程序员岗位进行招聘测评

一、 程序员的基本工作内容 1、 负责项目组内的代码维护和更新迭代,保证研发效率,对于运营产品提出的需求应积极沟通并实现。 2、 规范相关开发文档等相关资料,对于有变更的代码和功能需求...

蛤蟆丸子
25分钟前
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部