文档章节

Windows下安装Hadoop

missence
 missence
发布于 2016/04/15 15:53
字数 1035
阅读 13
收藏 0
点赞 1
评论 0


台式机i5-2400 3.1G,2G内存,操作系统Win7,JDK1.6.31,推荐学习这篇文章
1.下载Cygwin,运行Setup.exe,记得安装Sed、Openssh、Openssl,安装目录为d:\cygwin。
2.安装JDK,设置Windows环境变量,添加JAVA_HOME,值为java安装目录,添加CLASSPATH,值为.

[plain] view plain copy

  1. ;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\dt.jar  

,在Path变量中添加%JAVA_HOME%\bin
3.设置Windows环境变量,添加CYGWIN变量,值为ntsec tty,Path变量中添加d:\cygwin;d:\cygwin\bin,
4.将cygwin安装的快捷方式设置兼容性,以管理员权限运行。
5.下载hadoop 0.20.2版本(当前最新版为1.0.1,但是运行jobtracer会出现set permission错误,

[plain] view plain copy

  1. java.io.IOException: Failed to set permissions of path: file:XXX to 0700  

5.运行cygwin
6.更改目录权限

[plain] view plain copy

  1. chmod +r /etc/group  

  2. chmod +r /etc/passwd  

  3. chmod +rwx /var  

7.运行ssh-host-config
   提示 if privilege separation should be used时,输入no
   提示 if sshd should be installed as a service时,输入yes
   提示 the value of CYGWIN environment variable时,输入ntsec
   提示 Do you want to use a different name时,输入no
   提示 Create new privileged user account 'cyg_server'?时,输入no
   提示 Do you want to proceed anyway?时,输入yes
8.打开Windows服务管理页面,找到CYGWIN sshd服务,设置属性,选择登录,选择有管理员权限的用户和对应的Windows登录密码
9.回到cygwin,运行

[plain] view plain copy

  1. cygrunsrv -S sshd  

启动sshd服务。
10.在本地生成空密码的公钥和私钥,运行

[plain] view plain copy

  1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  

11.配置本地访问不需要密码,运行

[plain] view plain copy

  1. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  设置了怎么都不好用,最后改成第二种方式

  2. cat ~/.ssh/id_rsa.pub | ssh root@your_host 'cat -  >> .ssh/authorized_keys' 

12.测试本地访问

[plain] view plain copy

  1. ssh localhost  

没有使用过ssh连接localhost, 那么会有提示添加localhost到knowhosts中去,然后要求输入密码,记得运行exit,退出ssh。
13.将下载的hadoop拷贝到cygwin当前目录下,运行

[plain] view plain copy

  1. tar xvzf hadoop-0.20.2.tar.gz  

解压将产生hadoop软件目录。
14.删除hadoop-0.20.2.tar.gz,运行

[plain] view plain copy

  1. rm hadoop-0.20.2.tar.gz  

15.在hadoop安装目录下,建日志目录

[plain] view plain copy

  1. mkdir logs  

  2. chmod 777 logs  

16.建立jdk link,比如jdk在d:\program files\Java\jdk1.6.31目录下

[plain] view plain copy

  1. ln -s "cygdrive/d/Program Files/Java/jdk1.6.31" "/usr/local/jdk"  

17.打开hadoop安装目录下的conf目录,编辑hadoop-env.sh,添加

[plain] view plain copy

  1. export JAVA_HOME=/usr/local/jdk  

18.修改hadoop目录下conf目录下的core-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>  

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

  3.   

  4. <configuration>  

  5.     <property>  

  6.         <name>hadoop.tmp.dir</name>  

  7.         <value>/hadoop/tmp</value>  

  8.     </property>  

  9.     <property>  

  10.         <name>fs.default.name</name>  

  11.         <value>hdfs://localhost:9000</value>  

  12.     </property>     

  13. </configuration>  

19.修改hadoop目录下conf目录下的hdfs-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>  

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

  3.   

  4. <configuration>  

  5.     <property>  

  6.         <name>dfs.name.dir</name>  

  7.         <value>/hadoop/name</value>  

  8.     </property>  

  9.     <property>  

  10.         <name>dfs.data.dir</name>  

  11.         <value>/hadoop/data</value>  

  12.     </property>  

  13.     <property>  

  14.         <name>dfs.replication</name>  

  15.         <value>1</value>  

  16.     </property>  

  17. </configuration>  

20.修改hadoop目录下conf目录下的mapred-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>  

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

  3.   

  4. <configuration>  

  5.     <property>  

  6.         <name>mapred.job.tracker</name>  

  7.         <value>localhost:9001</value>  

  8.     </property>  

  9.     <property>  

  10.         <name>mapred.local.dir</name>  

  11.         <value>/hadoop/mpredtemp</value>  

  12.     </property>  

  13. </configuration>  

21.在hadoop安装目录下,格式化命名空间

[plain] view plain copy

  1. bin/hadoop namenode -format  

22.在hadoop安装目录下,运行hadoop

[plain] view plain copy

  1. bin/start-all.sh  

23.在hadoop安装目录下,运行测试程序

[plain] view plain copy

  1. bin/hadoop jar hadoop-0.20.2-examples.jar pi 2 10  

24.在hadoop安装目录下,运行运行命令

[plain] view plain copy

  1. bin/hadoop fs -put /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg /user/sw-its-hhe-hp/sw-its-hhe/timecount/input  

报错,提示

[plain] view plain copy

  1. put: File /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg does not exist.  

由于 Cygwin 的路径并无法正常被 Hadoop 解析,亦即 Hadoop 经过 Windows OS 告知路径为 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中却为 \opt\hadoop。因此倘若您看到 File XXXX does not exist 的问题,可用 cygpath -w 指令把路径转变成 Windows 绝对路径,就可以解决,运行

[plain] view plain copy

  1. cygpath -w /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg  

显示为E:\Source\java\TestHadoopUploadFile\test\fg,运行

[plain] view plain copy

  1. bin/hadoop fs -put $(cygpath -w /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg) timecount/input  

拷贝成功。


本文转载自:http://blog.csdn.net/johnnywww/article/details/7378284

共有 人打赏支持
missence
粉丝 1
博文 3
码字总数 0
作品 0
北京
后端工程师
Win 7 eclipse访问虚拟机上hadoop

因为hadoop安装在虚拟机里,虚拟机同时带不动eclipse和hadoop,就打算在windows下eclipse访问虚拟机里的hadoop,搜索了一下,需要做如下配置。 操作系统:Windows 7 hadoop:1.2.1 首先配置e...

fjie
2015/09/25
0
0
windows下安装hadoop

安装hadoop 安装好java 下载并解压hadoop-2.7.4.tar.gz 创建HADOOP_HOME环境变量 下载hadoop.dll和winutils,下载地址如下:windows环境下hadoop依赖。下载完毕后放到hadoop安装目录的bin文件...

dataworks彭敏
01/02
0
0
hadoop(01)、windows平台下hadoop环境搭建

hadoop是运行在linux系统下的一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。今天我们要...

MaxBill
2017/11/13
0
0
eclipse 本地连接hadoop 进行开发

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的 1. eclipse 安装hadoop 插件 首先, 下载hadoop 的eclipse插件 一个jar包 下载链接是这里...

KongFanhao
2016/06/02
15
0
Windows 搭建Hadoop 2.7.3开发环境

1、安装配置Java环境 1.1、安装Windows版本的jkd应用程序 当前的系统环境是64位Windows 7,因此下载64位JDK,下载地址:http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e...

巴利奇
01/06
0
0
windows配置hbase异常winutils.exe

配置好hbase依赖,填写完集群,正要开开心心地scan一下表实验下: java.io.IOException: Could not locate executable nullbinwinutils.exe in the Hadoop binaries. 一个更开心的exception就...

屌丝Lee
2015/11/09
0
0
PySpark笔记(一):Spark简介与安装

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark拥有Hadoop ...

洛荷
2017/10/25
0
0
从零开始的 Win7 64Bit 编译Hadoop3

前言 最近在接触Hadoop方面的知识。去官网逛了一圈发现最新版本已经是3.0.0-alpha1了。刚好在搭建Hadoop的环境,就决定使用最新版本的Hadoop试试水。因为自己使用的机器是windows的,逛了一圈...

Alex_Nine
2016/11/02
474
0
Hadoop学习01_Single Node Setup

目的 本文的目的主要是为了说明如何单点配置hadoop,从而能使用单个节点进行Hadoop MapReduce 和Hadoop Distributed File System (HDFS)运算。 先决条件 平台支持 GNU/Linux 作为开发和生产环...

烽焱10仴
2012/10/20
0
0
windows系统通过eclipse远程MapReduce服务器

windows中安装hadoop 将hadoop-2.7.1.tar.gz文件解压到windows硬盘中(如:C:Program Fileshadoop-2.7.1)。 将hadoop2.7.1winbin文件夹中hadoop.dll和winutils.exe复制到上述安装目录的bin...

psp0001060
2017/08/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

TensorFlow 作用域与操作符的受限范围

variable_scope 影响变量和操作符 name_scope 只影响操作符 with tf.name_scope(""),使用空字符串将作用域返回到顶层 tf.variable_scope("") 相当于添加一个空层 import tensorflow as tf...

阿豪boy
10分钟前
0
0
Java面试基础篇——第六篇:常见Map类的区别

常见的map类有: HashMap, ConcurrentHashMap (Jdk1.8) , LinkedHashMap, TreeMap, Hashtable。 其中我们最常用的莫过于HashMap, 和并发情况下使用的ConcurrentHashMap了,它们的主要区别就在...

developlee的潇洒人生
12分钟前
0
0
崛起于Springboot2.X之前端模版freemaker(23)

1、配置文件 spring: freemarker: allow-request-override: false cache: true check-template-location: true charset: UTF-8 content-type: text/html ......

木九天
28分钟前
1
0
spring-boot:run启动时,指定spring.profiles.active

Maven启动指定Profile通过-P,如mvn spring-boot:run -Ptest,但这是Maven的Profile。 如果要指定spring-boot的spring.profiles.active,则必须使用mvn spring-boot:run -Drun.profiles=test......

夜黑人模糊灬
30分钟前
0
0
大数据分析挖掘技术学习:Python文本分类

引言 文本分类作为自然语言处理任务之一,被广泛应用于解决各种商业领域的问题。文本分类的目的是将 文本/文档 自动地归类为一种或多种预定义的类别。常见的文本分类应用如下: • 理解社交媒...

加米谷大数据
35分钟前
0
0
istio-0.8 指标监控,prometheus,grafana

配置: https://istio.io/docs/tasks/telemetry/metrics-logs/ https://istio.io/docs/tasks/telemetry/tcp-metrics/ envoy拦截请求>上报mixer>对接prometheus>grafana 效果截图: promethe......

xiaomin0322
37分钟前
0
0
公众号推荐

阿里技术 书籍:《不止代码》

courtzjl
40分钟前
0
0
关于改进工作效率

1.给不同的业务线建立需求群,所有的数据需求都在群里面提。 2.对于特别难搞定的事情,到对应的技术哪去做,有问题随时沟通。 3.定期给工作总结形成方法论。 4.学习新的技术,尝试用新的方法...

Avner
47分钟前
0
0
关于thinkphp 框架开启路径重写,无法获取Authorization Header

今天遇到在thinkphp框架中获取不到header头里边的 Authorization ,后来在.htaccess里面加多一项解决,记录下: <IfModule mod_rewrite.c> Options +FollowSymlinks -Multiviews Rewrite......

殘留回憶
50分钟前
0
0
centos 使用yum安装nginx后如何添加模块 10

centos 使用yum安装nginx后如何添加模块 10 centos6.2版本,使用yum来安装了nginx,但是最近需要重新添加模块,所以就傻了,询问下有人知道怎么重新添加模块吗? PS:俺是新手,需要高手救助...

linjin200
54分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部