文档章节

Windows下安装Hadoop

missence
 missence
发布于 2016/04/15 15:53
字数 1035
阅读 13
收藏 0

阿里云携手百名商业领袖、技术大咖,带您一探行进中的数字新基建!>>>


台式机i5-2400 3.1G,2G内存,操作系统Win7,JDK1.6.31,推荐学习这篇文章
1.下载Cygwin,运行Setup.exe,记得安装Sed、Openssh、Openssl,安装目录为d:\cygwin。
2.安装JDK,设置Windows环境变量,添加JAVA_HOME,值为java安装目录,添加CLASSPATH,值为.

[plain] view plain copy

  1. ;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\dt.jar  

,在Path变量中添加%JAVA_HOME%\bin
3.设置Windows环境变量,添加CYGWIN变量,值为ntsec tty,Path变量中添加d:\cygwin;d:\cygwin\bin,
4.将cygwin安装的快捷方式设置兼容性,以管理员权限运行。
5.下载hadoop 0.20.2版本(当前最新版为1.0.1,但是运行jobtracer会出现set permission错误,

[plain] view plain copy

  1. java.io.IOException: Failed to set permissions of path: file:XXX to 0700  

5.运行cygwin
6.更改目录权限

[plain] view plain copy

  1. chmod +r /etc/group  

  2. chmod +r /etc/passwd  

  3. chmod +rwx /var  

7.运行ssh-host-config
   提示 if privilege separation should be used时,输入no
   提示 if sshd should be installed as a service时,输入yes
   提示 the value of CYGWIN environment variable时,输入ntsec
   提示 Do you want to use a different name时,输入no
   提示 Create new privileged user account 'cyg_server'?时,输入no
   提示 Do you want to proceed anyway?时,输入yes
8.打开Windows服务管理页面,找到CYGWIN sshd服务,设置属性,选择登录,选择有管理员权限的用户和对应的Windows登录密码
9.回到cygwin,运行

[plain] view plain copy

  1. cygrunsrv -S sshd  

启动sshd服务。
10.在本地生成空密码的公钥和私钥,运行

[plain] view plain copy

  1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  

11.配置本地访问不需要密码,运行

[plain] view plain copy

  1. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  设置了怎么都不好用,最后改成第二种方式

  2. cat ~/.ssh/id_rsa.pub | ssh root@your_host 'cat -  >> .ssh/authorized_keys' 

12.测试本地访问

[plain] view plain copy

  1. ssh localhost  

没有使用过ssh连接localhost, 那么会有提示添加localhost到knowhosts中去,然后要求输入密码,记得运行exit,退出ssh。
13.将下载的hadoop拷贝到cygwin当前目录下,运行

[plain] view plain copy

  1. tar xvzf hadoop-0.20.2.tar.gz  

解压将产生hadoop软件目录。
14.删除hadoop-0.20.2.tar.gz,运行

[plain] view plain copy

  1. rm hadoop-0.20.2.tar.gz  

15.在hadoop安装目录下,建日志目录

[plain] view plain copy

  1. mkdir logs  

  2. chmod 777 logs  

16.建立jdk link,比如jdk在d:\program files\Java\jdk1.6.31目录下

[plain] view plain copy

  1. ln -s "cygdrive/d/Program Files/Java/jdk1.6.31" "/usr/local/jdk"  

17.打开hadoop安装目录下的conf目录,编辑hadoop-env.sh,添加

[plain] view plain copy

  1. export JAVA_HOME=/usr/local/jdk  

18.修改hadoop目录下conf目录下的core-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>  

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

  3.   

  4. <configuration>  

  5.     <property>  

  6.         <name>hadoop.tmp.dir</name>  

  7.         <value>/hadoop/tmp</value>  

  8.     </property>  

  9.     <property>  

  10.         <name>fs.default.name</name>  

  11.         <value>hdfs://localhost:9000</value>  

  12.     </property>     

  13. </configuration>  

19.修改hadoop目录下conf目录下的hdfs-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>  

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

  3.   

  4. <configuration>  

  5.     <property>  

  6.         <name>dfs.name.dir</name>  

  7.         <value>/hadoop/name</value>  

  8.     </property>  

  9.     <property>  

  10.         <name>dfs.data.dir</name>  

  11.         <value>/hadoop/data</value>  

  12.     </property>  

  13.     <property>  

  14.         <name>dfs.replication</name>  

  15.         <value>1</value>  

  16.     </property>  

  17. </configuration>  

20.修改hadoop目录下conf目录下的mapred-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>  

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

  3.   

  4. <configuration>  

  5.     <property>  

  6.         <name>mapred.job.tracker</name>  

  7.         <value>localhost:9001</value>  

  8.     </property>  

  9.     <property>  

  10.         <name>mapred.local.dir</name>  

  11.         <value>/hadoop/mpredtemp</value>  

  12.     </property>  

  13. </configuration>  

21.在hadoop安装目录下,格式化命名空间

[plain] view plain copy

  1. bin/hadoop namenode -format  

22.在hadoop安装目录下,运行hadoop

[plain] view plain copy

  1. bin/start-all.sh  

23.在hadoop安装目录下,运行测试程序

[plain] view plain copy

  1. bin/hadoop jar hadoop-0.20.2-examples.jar pi 2 10  

24.在hadoop安装目录下,运行运行命令

[plain] view plain copy

  1. bin/hadoop fs -put /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg /user/sw-its-hhe-hp/sw-its-hhe/timecount/input  

报错,提示

[plain] view plain copy

  1. put: File /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg does not exist.  

由于 Cygwin 的路径并无法正常被 Hadoop 解析,亦即 Hadoop 经过 Windows OS 告知路径为 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中却为 \opt\hadoop。因此倘若您看到 File XXXX does not exist 的问题,可用 cygpath -w 指令把路径转变成 Windows 绝对路径,就可以解决,运行

[plain] view plain copy

  1. cygpath -w /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg  

显示为E:\Source\java\TestHadoopUploadFile\test\fg,运行

[plain] view plain copy

  1. bin/hadoop fs -put $(cygpath -w /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg) timecount/input  

拷贝成功。


本文转载自:http://blog.csdn.net/johnnywww/article/details/7378284

missence
粉丝 1
博文 3
码字总数 0
作品 0
北京
后端工程师
私信 提问
加载中

评论(0)

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API

一、前言 本案例在虚拟机下安装好linux的hadoop-2.6.5集群完全分布式(HA的),并配置好运行。Windows下安装了201803版的Eclipse、java-1.8 二、Windows下Eclipse配置hadoop插件 解压在虚拟机...

osc_k11w4vu5
2019/05/06
2
0
Win 7 eclipse访问虚拟机上hadoop

因为hadoop安装在虚拟机里,虚拟机同时带不动eclipse和hadoop,就打算在windows下eclipse访问虚拟机里的hadoop,搜索了一下,需要做如下配置。 操作系统:Windows 7 hadoop:1.2.1 首先配置e...

fjie
2015/09/25
0
0
eclipse+hadoop环境搭建

操作系统: windows hadoop 2.7.4 namenode:192.168.233.135 datanode: 192.168.233.134/131 1.下载hadoop-eclipse-plugin-xxx.jar(https://github.com/winghc/hadoop2x-eclipse-plugin), 解......

osc_spfr63ii
2018/03/06
3
0
Windows 10 下单机 Spark 环境搭建

【目的】   Windows 10 裸机搭建 Spark 环境,使能运行 PySpark Shell。 【原料】 Windows 10 x64 jdk-8u162-windows-x64.exe python-3.6.7-amd64.exe spark-2.3.2-bin-hadoop2.7.tgz hado......

RQSLT
2019/01/31
0
0
基于《Hadoop权威指南 第三版》在Windows搭建Hadoop环境及运行第一个例子

在Windows环境上搭建Hadoop环境需要安装jdk1.7或以上版本.有了jdk之后,就可以进行Hadoop的搭建. 首先下载所需要的包:   1. Hadoop包: hadoop-2.5.2.tar.gz   2. Eclipse插件: hadoop-ec...

osc_lmwjsnx3
2018/06/05
3
0

没有更多内容

加载失败,请刷新页面

加载更多

Portworx on OpenShift 原理讲解视频

Portworx on RedHat OpenShift https://v.qq.com/x/page/g0975mnzln0.html 欢迎回到Portworx技术讲解系列视频。我们今天介绍红帽Openshift上的Portworx。我们讨论基本的OpenShift部署,包括本...

Portworx
29分钟前
18
0
type_traits类型特征萃取

type_traits库提供一组特征(traits)类——元函数,可以在编译期确定类型是否具有某些特征。 根据返回类型type_traits库里的元函数可以分为以下两大类: 检查元数据属性的值元函数:以::val...

零落年华
34分钟前
17
0
3 年经验的 Java 后端妹子,横扫阿里、滴滴、美团,整理出这份厚厚的 8000 字面经!

自序 这次面试的公司有一点点多,主要是因为毕业后前两份工作找的都很草率,这次换工作就想着,emm,毕业三年了,该找个工作好好沉淀几年了。 先说下这次面试的结果吧: 到 hr 面的:阿里、美...

码农突围
39分钟前
15
0
Oracle中关于视图-序列-同义词-索引的详解

一.视图 1.什么是视图 简单来说 视图就是一个虚拟表,实体表的映射 什么时候使用视图 在开发中,有一些表结构是不希望过多的人去接触,就把实体表映射为一个视图。(表结构简化) 在项目过程...

煌sir
41分钟前
18
0
lodash之_.chunk _.compact _.concat方法

注:前提引入lodash.min.js 1、_.chunk _.chunk(array, [size=1]) chunk:英文释义:厚块; 厚片; 大块; 相当大的量; 话语组成部分; 组块; 功能:将数组(array)拆分成多个size长度的区块,...

一生懸命吧
52分钟前
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部