文档章节

Win7系统安装hadoop

无畏的老巨人
 无畏的老巨人
发布于 06/17 10:53
字数 515
阅读 2
收藏 0

环境准备

  • 安装JDK1.8,配置JAVA_HOME
  • 下载hadoop_3.1.2,配置HADOOP_HOME

配置HDFS

  1. 修改hadoop-env.cmd

增加

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
  1. 修改core-site.xml
<configuration>
   <property>
     <name>fs.default.name</name>
     <value>hdfs://0.0.0.0:19000</value>
   </property>
</configuration>
  1. 修改hdfs-site.xml
<configuration>
  <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
  <property>
     <name>dfs.name.dir</name>
     <value>file:///D:/hadoop-3.1.2/dfs/namespace_logs</value>
   </property>
   <property>
     <name>dfs.data.dir</name>
     <value>file:///D:/hadoop-3.1.2/dfs/data</value>
   </property>
</configuration>

配置yarn

  1. 修改mapred-site.xml

%USERNAME%修改为系统用户名

    <configuration>

       <property>
          <name>mapreduce.job.user.name</name>
          <value>%USERNAME%</value>
        </property>

       <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>

      <property>
         <name>yarn.apps.stagingDir</name>
         <value>/user/%USERNAME%/staging</value>
       </property>

      <property>
         <name>mapreduce.jobtracker.address</name>
         <value>local</value>
       </property>

    </configuration>
  1. 修改yarn-site.xml
    <configuration>
       <property>
         <name>yarn.server.resourcemanager.address</name>
         <value>0.0.0.0:8020</value>
       </property>

      <property>
         <name>yarn.server.resourcemanager.application.expiry.interval</name>
         <value>60000</value>
       </property>

      <property>
         <name>yarn.server.nodemanager.address</name>
         <value>0.0.0.0:45454</value>
       </property>

      <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
       </property>

      <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>

      <property>
         <name>yarn.server.nodemanager.remote-app-log-dir</name>
         <value>/app-logs</value>
       </property>

      <property>
         <name>yarn.nodemanager.log-dirs</name>
         <value>/dep/logs/userlogs</value>
       </property>

      <property>
         <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
         <value>0.0.0.0</value>
       </property>

      <property>
         <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
         <value>0.0.0.0</value>
       </property>

      <property>
         <name>yarn.log-aggregation-enable</name>
         <value>true</value>
       </property>

      <property>
         <name>yarn.log-aggregation.retain-seconds</name>
         <value>-1</value>
       </property>

      <property>
         <name>yarn.application.classpath</name>
 <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
       </property>

    </configuration>

初始化环境变量

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

格式化文件系统

hadoop namenode -format

启动

启动start-hdfs.cmd

hdfs测试

启动start-yarn.cmd

打开resourceManager和NodeManager

常见问题解决

  1. namenode启动失败,webUtils文件找不到

https://stackoverflow.com/questions/41851066/exception-in-thread-main-java-lang-unsatisfiedlinkerror-org-apache-hadoop-io

下面的github仓库下载hadoop-3.0.0版本的winutils.exehadoop.dll 复制到hadoop-3.1.2下的bin目录

https://github.com/steveloughran/winutils

  1. datanode错误

hdfs-site.xml修改配置

<configuration>

   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   
   <property>
     <name>dfs.datanode.failed.volumes.tolerated</name>
     <value>0</value>
   </property>
   
  <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/hadoop312/dfs/data/namenode</value>
   </property>

   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/hadoop312/dfs/data/datanode</value>
   </property>
</configuration>

dfs.namenode.name.dir中设置在hdfs namemode formatt命令时 产生namenode文件;start-hdfs.cmd会产生datanode文件

所有在关掉hdfs,重启的时候,需要删掉之前的datanode文件 重新执行

start-hdfs.cmd

© 著作权归作者所有

无畏的老巨人

无畏的老巨人

粉丝 17
博文 79
码字总数 78698
作品 0
宁波
CTO(技术副总裁)
私信 提问
错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode

对Hadoop比较感兴趣就试着自己安装下,结果一直出错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode这个问题 环境为win7,32位系统 使用Hadoop-2.4.0 core-site....

sunnyjay
2014/05/06
42.1K
11
Hadoop伪分布配置与基于Eclipse开发环境搭建

1、开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP + Putty Hadoop版本:2.5.0 Hadoo...

loki_lan
2014/09/02
0
19
VMware如何实现多台虚拟机与PC通信问题

本人在搭建hadoop集群环境,现在前提是要进行vmware的网络环境安装。 主机Win7 系统, PC上安装的vm,现在vm上已经安装了三台redhat 。 想实现pc 和 三台 redhat可以相互通信,以及redhat之间...

smh821025
2013/05/05
1K
5
[Hadoop] Install Hadoop 2.2 on Win7 64bit

环境:win7, 64 bit, JDK7 Download the stable version 2.2.0 http://mirrors.cnnic.cn/apache/hadoop/common/stable2/ Unzip hadoop-2.2.0.tar.gz to c:/hadoop 设置环境变量 HADOOPHOME 和......

nealfu2014
2014/03/24
0
0
mahout在Hadoop集群上开发过程

新手请教一个问题:现在配置好了一个三个节点的分布式系统(一个主节点,两个分节点)。我要做的是:做一个分布式推荐测试。现在的问题是:1、mahout是不是安装在分布式的节点上;2、maven可...

fangdao
2015/06/07
488
2

没有更多内容

加载失败,请刷新页面

加载更多

Linux的基本命令

目录的操作命令(增删改查) 增: mkdir 目录名称; 查: ls 可以看到该目录下的所有的目录和文件 ls -a,可以看到该目录下的所有文件和目录,包括隐藏的 ls -l,可以看到该目录下的所有目录和...

凹凸凸
今天
2
0
在古老unix中增加新用户

Installing 4.3 BSD Quasijarus on SIMH 目标:要在4.3BSD中新增加用户dmr,指定目录/home/dmr,uid为10 gid=31(guest组,系统已建立) 4.3BSD还没有adduser或useradd 直接修改/etc/passwd...

wangxuwei
今天
2
0
Bootstrap(六)表单样式

基本样式 所有设置了 .form-control 类的 <input>、<textarea> 和 <select> 元素都将被默认设置宽度属性为 width: 100%;。 将 label 元素和前面提到的控件包裹在 .form-group 中可以获得最好...

ZeroBit
昨天
3
0
SSL 证书格式转换

SSL 证书格式转换 不同服务器情况下,需要不同的证书格式。 比如 pem 转 pfx。 pem在window 平台下可以导入,但是无法正常使用。 需要转换成pfx。 推荐在线转换工具,由中国数字证书网站提供...

DrChenXX
昨天
2
0
HAProxy

xx

Canaan_
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部