文档章节

在Windows下安装Hadoop 图文教程

小帅帅丶
 小帅帅丶
发布于 2015/01/08 15:49
字数 1472
阅读 438
收藏 2
点赞 0
评论 0

Windows下运 行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单。在这里咱们就来看看第二种方案:如何再Windows下快速安装一个 Hadoop环境,并结合Eclipse开发环境研究和调整Hadoop代码。

整个安装过程包括以下三大步骤:

  1. 安装和配置Cygwin(http://cygwin.com/install.html)

  2. 安装和配置Hadoop-1.2.1(http://hadoop.apache.org/docs/stable/cluster_setup.html)

  3. 安装和配置Eclipse开发环境

1安装和配置Cygwin

在Windows下通过安装Cygwin模拟Linux环境,然后再安装Hadoop,是一种简单方便的方式,为Hadoop准备的模拟Linux环境安装过程如下:

1.1下载安装文件

针对不同系统类型下载相应的安装文件,下载地址:http://cygwin.com/install.html

我这里的系统是window 7所以下载的是setup-x86.exe

1.2安装Cygwin

刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具,以后想要在模拟Linux环境中安装或更新软件都需要通过这个工具来完成,下面我们就先运行起来这个工具如下:

  1. 左键双击setup-x86.exe文件运行安装向导:

cygwin安装

cygwin安装

  1. 点击【下一步】按钮进入程序引导安装页,这里有三个选项,选择第一项网络安装

    • 网络安装:通过网络下载并安装软件包

    • 下载但不安装:通过网络下载软件包

    • 本地安装:是用本地软件包安装

cygwin安装

cygwin安装

  1. 点击【下一步】进入选择模拟Linux系统的根目录和用户的向导页。在Linux的文件系统中有且只有一个根目录,在这里选择目录就是Linux中的那个根目录了,这里选择默认:c:\cygwin;用户选择第一项:本系统的所有有效用户。

cygwin安装

cygwin安装

  1. 点击【下一步】选择本地软件包目录,该工具会自动记住并将以后下载的所有软件包都会放到这里指定的目录。我这里选择:C:\Users\Administrator\Desktop\1,如果选择不存在目录,就好提示是否创建目录选Yes就OK。

cygwin安装

cygwin安装

  1. 点击【下一步】选择您的网络连接,我这里使用的是代理服务器上网,所以我选择第二项:使用IE浏览器代理设置。经测试选择第三项输入代理服务器地址和端口,不能正常访问网络,原因不明。

cygwin安装

cygwin安装

  1. 点击【下一步】,等待下载镜像站点列表,下载完成后出现选择下载软件包的站点。如图:

cygwin安装

cygwin安装

  1. 根据自己的情况选择合适的下载地址,我这里选择了国内的163站点,点击【下一步】,这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页,如下图:

cygwin安装

cygwin安装

  1. 这一步比较重要,以下软件包要确保被安装:

cygwin安装

cygwin安装

注:这个软件包列表由前到后包括:分类、当前安装版本,最新版本,安装可执行文件?,安装源代码文件?,大小,包名称和说明。

    • 基础软件包:Base及其下面的所有软件包,操作方法:点击Base后面的Default为Install。

    • SSH相关软件包:Net下的OpenSSL和和OpenSSH,用于Hadoop需要的SSH访问,操作方法:点击【+】展开Net节点,点击各个软件包前的最新版本号列的Keep为版本号即为选中安装。

    • 其他软件包根据自己的需要选中是否安装即可,我这里还选中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等常用工具。

  1. 选择完软件包点击【下一步】,进入自动下载与安装,如下图:

    cygwin安装

    cygwin安装

  1. 点击【下一步】进入向导结束页,勾选创建桌面快捷方式点击【完成即可】,如图:

    cygwin安装

    cygwin安装

到这里,您已经完成了模拟Linux环境的安装,左键双击桌面上的图标cygwin安装打开这个模拟Linux的终端窗口输入几个常用Linux命令体验下这个模拟的Linux系统吧,除了可以执行Linux常用命令外,还可以执行Windows的命令例如:net start service_name等。体验完成后继续下面的配置工作。

1.3配置Cygwin的SSH服务

Cygwin安装完成后,需要先配置SSH服务,以满足Hadoop提出的SSH无密码登入,过程如下:

打开模拟Linux的终端,进入Linux环境

执行命令:ssh-host-config如图:

Hadoop安装

  • Hadoop安装

第一次询问:“Should privilege separation be used? (yes/no)”,输入no回车。

第二次询问:“Do you want to install sshd a service?”,输入yes回车。

第三次提示:“Enter the value of CYGWIN for the demon: []”,直接回车。

第四次询问:“Do you want to use a different name? (yes/no)”,输入no回车。

第五次提示:“Please enter the password for user ‘cyg_server’:”,输入密码回车,在此输入密码回车。

最后提示配置完成。

1.4启动SSH服务

在Linux终端或Windows命令行执行net start sshd或命令cygrunsrv –S sshd启动SSH服务。

测试ssh登入本机:

在终端执行命令:ssh localhost

提示输入密码:输入密码回车,如下图:

Hadoop安装

Hadoop安装

 

1.5配置SSH免密码登入

在终端执行命令:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘钥。

执行命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成认证文件。

执行命令:ssh localhost测试是否无需输入密码即可登入。

Hadoop安装

原文地址:http://blog.csdn.net/nazarite_wen/article/details/34409923


本文转载自:http://blog.csdn.net/nazarite_wen/article/details/34409923

共有 人打赏支持
小帅帅丶
粉丝 467
博文 76
码字总数 111470
作品 2
北京
后端工程师
mysql的安装图解

下面的是MySQL安装的图解,用的可执行文件安装的,详细说明了一下!打开下载的mysql安装文件mysql-5.0.27-win32.zip,双击解压缩,运行“setup.exe”,出现如下界面 mysql安装图文教程1 mys...

期待变强的菜鸟 ⋅ 2014/05/19 ⋅ 0

Wubi安装 Ubuntu 10.04 图文教程

本图文教程将告诉你在已存在的Windows系统环境中通过Wubi安装Ubuntu 10.04 Lucid Lynx的详细步骤。WUBI是一个Ubuntu 的安装程序,让您在Windows中安装一个正式的Ubuntu Linux操作系统,而不改...

红薯 ⋅ 2010/05/01 ⋅ 15

Windows 7下硬盘安装Ubuntu 14.04图文教程

Ubuntu 官方已经发布了正式版的 Ubuntu 14.04 LTS,并宣称这是为云计算准备的版本。该版本在云平台和伸缩环境的可靠性、性能和交互性都有很好的提升,同时提供 5 年的支持和维护服务。 下面为...

Surjur ⋅ 2015/06/30 ⋅ 0

Oracle 11g R2安装手册(图文教程)For Windows

Oracle 11g R2安装手册(图文教程)For Windows 参考ITBUP 博文

Oscarfff ⋅ 2015/12/29 ⋅ 0

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)

第一步:构造分布式Hadoop2.2.0集群 1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2),本教程中的VMwar...

Spark亚太研究院 ⋅ 2014/10/08 ⋅ 0

【jni 编程】—— NDK环境搭建

在《站在巨人的肩膀上,谈app的创新性》一文中 http://my.oschina.net/liusicong/blog/311971,我提到过构建app技术壁垒的必要性。在构建技术壁垒时,我们往往需要调用许多库函数,例如:图像...

刘小米 ⋅ 2014/09/10 ⋅ 0

Myeclipse搭建android开发环境(本人Myeclipse9.0亲测可用)

其实主要参考的都是些网上找来的文档了,有的地方说Myeclipse不行,他们都是用eclipse装的,但本人亲测可行,myeclipse版本为9.0,觉得8.5应该也行,但没试过。 进入正题,首先是Myeclipse的...

OldPanda ⋅ 2012/05/31 ⋅ 0

react搭建教程(图文)

作者:长升 原创于——开源中国 简介 React2016年还是比较火的,我学习react的是因为当时指导老师(王老师)的项目要用此技术。于是开始学习React,React其实内容还是比较少的,但是背后的技...

_长升 ⋅ 2016/12/07 ⋅ 3

win7下安装ubuntu

参考链接 Win7系统下硬盘安装Ubuntu 12.04双系统 Win7系统下硬盘安装Ubuntu 12.04双系统WIN7下硬盘安装Ubuntu12.04双系统教程[图文] 安装注意事项 1. 我下载的是最新版本的Ubuntu桌面版,版本...

z_jordon ⋅ 2015/10/01 ⋅ 0

怎么安装Win10,硬盘安装Win10系统图文教程

http://jingyan.baidu.com/article/f25ef254613ffd482c1b8236.html 分享到 一键分享 QQ空间 新浪微博 百度云收藏 人人网 腾讯微博 百度相册 开心网 腾讯朋友 百度贴吧 豆瓣网 搜狐微博 百度新...

james_laughing ⋅ 2015/11/08 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

tcp/ip详解-链路层

简介 设计链路层的目的: 为IP模块发送和接收IP数据报 为ARP模块发送ARP请求和接收ARP应答 为RARP模块发送RARP请求和接收RARP应答 TCP/IP支持多种链路层协议,如以太网、令牌环往、FDDI、RS-...

loda0128 ⋅ 52分钟前 ⋅ 0

spring.net aop代码例子

https://www.cnblogs.com/haogj/archive/2011/10/12/2207916.html

whoisliang ⋅ 今天 ⋅ 0

发送短信如何限制1小时内最多发送11条短信

发送短信如何限制1小时内最多发送11条短信 场景: 发送短信属于付费业务,有时为了防止短信攻击,需要限制发送短信的频率,例如在1个小时之内最多发送11条短信. 如何实现呢? 思路有两个 截至到当...

黄威 ⋅ 昨天 ⋅ 0

mysql5.7系列修改root默认密码

操作系统为centos7 64 1、修改 /etc/my.cnf,在 [mysqld] 小节下添加一行:skip-grant-tables=1 这一行配置让 mysqld 启动时不对密码进行验证 2、重启 mysqld 服务:systemctl restart mysql...

sskill ⋅ 昨天 ⋅ 0

Intellij IDEA神器常用技巧六-Debug详解

在调试代码的时候,你的项目得debug模式启动,也就是点那个绿色的甲虫启动服务器,然后,就可以在代码里面断点调试啦。下面不要在意,这个快捷键具体是啥,因为,这个keymap是可以自己配置的...

Mkeeper ⋅ 昨天 ⋅ 0

zip压缩工具、tar打包、打包并压缩

zip 支持压缩目录 1.在/tmp/目录下创建目录(study_zip)及文件 root@yolks1 study_zip]# !treetree 11└── 2 └── 3 └── test_zip.txt2 directories, 1 file 2.yum...

蛋黄Yolks ⋅ 昨天 ⋅ 0

聊聊HystrixThreadPool

序 本文主要研究一下HystrixThreadPool HystrixThreadPool hystrix-core-1.5.12-sources.jar!/com/netflix/hystrix/HystrixThreadPool.java /** * ThreadPool used to executed {@link Hys......

go4it ⋅ 昨天 ⋅ 0

容器之上传镜像到Docker hub

Docker hub在国内可以访问,首先要创建一个账号,这个后面会用到,我是用126邮箱注册的。 1. docker login List-1 Username不能使用你注册的邮箱,要用使用注册时用的username;要输入密码 ...

汉斯-冯-拉特 ⋅ 昨天 ⋅ 0

SpringBoot简单使用ehcache

1,SpringBoot版本 2.0.3.RELEASE ①,pom.xml <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.0.3.RELE......

暗中观察 ⋅ 昨天 ⋅ 0

Spring源码解析(八)——实例创建(下)

前言 来到实例创建的最后一节,前面已经将一个实例通过不同方式(工厂方法、构造器注入、默认构造器)给创建出来了,下面我们要对创建出来的实例进行一些“加工”处理。 源码解读 回顾下之前...

MarvelCode ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部