文档章节

大数据基础之Hadoop基础系列:安装篇

 云逸清风
发布于 07/09 18:17
字数 482
阅读 0
收藏 0

准备Linux OS 环境

  1. 方式一: 使用 虚拟机
  2. 方式二: 使用云主机 (推荐使用,快速方便)

安装JDK (此处略过, 因为 Hadoop 是Java开发的,所以运行时需要Java环境的.) 并设置环境变量

配置 Hadoop

  1. 在 hadoop / conf 目录下 有四个 文件需要配置
  2. mapred-site.xml
    1. 在其<configuration>标签中配置以下数据
      <property>
           <!--  配置任务调度器的访问,  -->
          <name>mapred.job.tracker</name>
          <value>localhost:8801</value>
      </property>
  3. core-site.xml
    1. 在其<configuration>标签中配置以下数据
      <property>
           <!--  hadoop的工作目录, 一般使用默认值 /hadoop -->
          <name>hadoop.tmp.dir</name>
          <value>/hadoop</value>
      </property>
      <property>
           <!--  hadoop的元数据目录, 一般使用默认值 /hadoop/name -->
          <name>dfs.name.dir</name>
          <value>/hadoop/name</value>
      </property>
      <property>
           <!--  文件系统该如何访问  localhost  是自行配置的 hostname  8800 是启用的端口号-->
          <name>hadoop.tmp.dir</name>
          <value>hdfs://localhost:8800</value>
      </property>
  4. hdfs-site.xml
    1. 在其<configuration>标签中配置以下数据
      <property>
           <!--  文件系统的数据位置  默认配置 /hadoop/data 即可 -->
          <name>dfs.data.dir</name>
          <value>/hadoop/data</value>
      </property>
  5. hadoop-env.sh
    1.  修改并启用 export JAVA_HOME=你的jak安装的目录, 同 环境变量一致 
  6. 最后在系统环境变量中配置(告知系统hadoop的安装路径)
    export HADOOP_HOME=hadoop的安装路径
  7. 检验hadoop是否安装成功
    执行 hadoop 命令.如果能出现 命令帮助信息就是安装好了.
  8. 在使用前须格式化下文件系统,
    执行  hadoop namenode -format  命令,看日志结果确认格式化正常完成.
  9. 启动 Hadoop (在bin目录下有很多启动命令, 一般使用 start-all.sh 即可)  输入密码(主机的密码)

© 著作权归作者所有

云逸清风

粉丝 0
博文 30
码字总数 8852
作品 0
海淀
技术主管
私信 提问
Hadoop实战开发教程 Hadoop学习视频资料汇总

Hadoop实战开发教程 Hadoop学习视频汇总 Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标) 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技...

beifangbubai
2014/07/28
3.6K
4
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
2018/08/03
66
0
最新hadoop下载安装教程(附详细图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明:分享的所有...

adnb34g
2018/08/03
0
0
Hadoop简要介绍

本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很...

晨曦之光
2012/03/09
224
0
3月,献给程序员们的技术书

北京的雾霾刚刚过去,小编便开始埋头做三月书讯了。每天关注人邮IT书坊,分享微信内容,都可能会有惊喜降临在你的头上。 本期特别推荐 经典算法谜题的合集 Google、Facebook等一流IT公司算法...

生气的散人
2014/03/05
268
0

没有更多内容

加载失败,请刷新页面

加载更多

浅谈FlyWeight享元模式

一、前言 享元(FlyWeight)模式顾名思义,即是轻量级,原因就是享元,共享元素,这里的元素指的是对象。如何共享对象,那就是在检测对象产生的时候,如果产生的是同一个对象,那么直接使用已...

青衣霓裳
6分钟前
2
0
Python学习10.14:Python set集合详解

Python 中的集合,和数学中的集合概念一样,用来保存不重复的元素,即集合中的元素都是唯一的,互不相同。 从形式上看,和字典类似,Python 集合会将所有元素放在一对大括号 {} 中,相邻元素...

太空堡垒185
6分钟前
3
0
好程序员大数据教程分享Scala系列之文件以及正则表达式

好程序员大数据教程分享Scala系列之文件以及正则表达式 1 读取行 导入scala.io.Source后,即可引用Source中的方法读取文件信息。 import scala.io.Source object FileDemo extends App{ val ...

好程序员官网
6分钟前
2
0
75.nosql memcached与安装及查看状态

21.1 nosql介绍 21.2 memrcached介绍 21.3 安装memcached 21.4 查看memcachedq状态 21.1 nosql介绍 什么是NoSQL: 1.非关系型数据库就是NoSQL,关系型数据库代表MySQL 也是一种数据库,来存储...

oschina130111
8分钟前
1
0
玩转阿里云 Terraform(二):Terraform 的几个关键概念

上一篇《玩转阿里云Terraform(一):Terraform 是什么》介绍了 Terraform 的基本定义和特点之后,本文将着重介绍几个Terraform中的关键概念。 Terraform 关键概念 在使用Terraform的过程中,通...

阿里云官方博客
9分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部