文档章节

hadoop 安装

熊大熊二
 熊大熊二
发布于 2017/06/22 21:36
字数 254
阅读 42
收藏 0

       spark+hadoop的组合是将来大数据的发展趋势,简单说一下hadoop的安装

    下载hadoop安装包

    http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.8.0/

    解压:tar -zxvf hadoop-2.8.0.tar.gz 

    配置环境变量

    export HADOOP_HOME=/home/qpx/tool/hadoop-2.8.0
    export PATH=.:$SPARK_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

    修改 hadoop-env.sh    

 export JAVA_HOME=${JAVA_HOME}

    修改core-site.xml

<configuration>
<property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change you own hadoop hostname</description>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

  修改hdfs-site.xml 

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>9001</value>
                <description>change you own hostname</description>
        </property>
</configuration>

修改mapred-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
</configuration>

接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;

启动hadoop并验证。启动命令:start-all.sh;验证命令:jps

希望对您有所帮助

后续进行spark 的入门学习

© 著作权归作者所有

熊大熊二
粉丝 16
博文 31
码字总数 29359
作品 0
东城
程序员
私信 提问
加载中

评论(2)

侠客人生
侠客人生
很有用
如梦技术
如梦技术
:neckbeard:多写点~
ubuntu14.04下安装Hadoop

一、环境准备 1、ubuntu 14.04 2、hadoop 2.7.2 文件较大(202M),选择一种下载方式下载。下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 3...

孟飞阳
2016/06/25
1K
8
Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接...

虚拟世界的懒猫
07/22
22
0
如何获取Hadoop Native Lib

前言 最近需要安装CDH4.5, 在重启后提示缺失native lib, 经过一番折腾后,终于安装成功,下面记录下native lib的获取过程. @Author duangr @Website http://my.oschina.net/duangr/blog/18090...

一只小逛
2013/12/02
4.1K
1
Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri
2017/12/16
0
0
【hadoop】2. 运行环境搭建

简介 通过本教程您可以学习到: 安装jdk 安装单机版本的hadoop 1、安装hadoop 集群环境下的安装和单机其实差不多一样,不过麻烦在于对机器的需求量比较大。为了方便,本教程只演示单机的安装...

落花时节又逢卿
01/03
5
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
257
4
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
10
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部