文档章节

hadoop 安装

熊大熊二
 熊大熊二
发布于 2017/06/22 21:36
字数 259
阅读 36
收藏 0
点赞 0
评论 2

        当讲师已经有两个月了,教了一个月的spring+springmvc+mybatis,交了一个月的电子商务课程,近期在教dubbo+flume+kafka+spark。每日奋斗到两点备课的节奏。马上教spark 了,spark+hadoop的组合是将来大数据的发展趋势,简单说一下hadoop的安装

    下载hadoop安装包

    http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.8.0/

    解压:tar -zxvf hadoop-2.8.0.tar.gz 

    配置环境变量

    export HADOOP_HOME=/home/qpx/tool/hadoop-2.8.0
    export PATH=.:$SPARK_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

    修改 hadoop-env.sh    

 export JAVA_HOME=${JAVA_HOME}

    修改core-site.xml

<configuration>
<property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change you own hadoop hostname</description>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

  修改hdfs-site.xml 

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>9001</value>
                <description>change you own hostname</description>
        </property>
</configuration>

修改mapred-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
</configuration>

接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;

启动hadoop并验证。启动命令:start-all.sh;验证命令:jps

希望对您有所帮助

后续进行spark 的入门学习

© 著作权归作者所有

共有 人打赏支持
熊大熊二
粉丝 15
博文 29
码字总数 22587
作品 0
东城
程序员
加载中

评论(2)

侠客人生
侠客人生
很有用
如梦技术
如梦技术
:neckbeard:多写点~
Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri ⋅ 2017/12/16 ⋅ 0

HBase安装配置

首先我的hadoop集群配置如下: NameNode :192.168.1.122 hadoop/hadoop DataNode1:192.168.1.124 hadoop/hadoop DataNode2:192.168.1.125 hadoop/hadoop hadoop的版本选择为2.2.0 一,安装之前......

陶诗德 ⋅ 2015/01/20 ⋅ 0

Hadoop学习笔记(二)设置单节点集群

本文描述如何设置一个单一节点的 Hadoop 安装,以便您可以快速执行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。 参考官方文档:Hadoop MapReduce Next Generation ...

微wx笑 ⋅ 2014/10/07 ⋅ 0

Docker搭建Hadoop集群

在学习Hadoop过程中,想要搭建Hadoop分布式集群,往往需要几台服务器或者再一台机器上搭建几台虚拟机;这两种方式搭建Hadoop集群都不是很方便,个人很少自己拥有几台服务器,或者电脑内存够大...

凌得涂 ⋅ 05/15 ⋅ 0

Ubuntu14.04 搭建hadoop单机版

一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo addus...

喜欢敲代码的感觉 ⋅ 2014/10/16 ⋅ 0

ubuntu14.04下安装Hadoop

一、环境准备 1、ubuntu 14.04 2、hadoop 2.7.2 文件较大(202M),选择一种下载方式下载。下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 3...

孟飞阳 ⋅ 2016/06/25 ⋅ 8

Hadoop+Hbase+Zookeeper集群配置

系统版本: CentOS 7.3 最小化安装 软件版本: Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9 集群规划: 一、服务器初始配置 (所有服务器执行) 1、按集群规划修改主机名及IP地址。 2、关闭防火...

月夜星魂 ⋅ 2017/07/12 ⋅ 0

VMware下Hadoop 2.4.1完全分布式集群平台安装与设置

1 VM下Ubuntu安装和配置 1.1 安装Ubuntu系统 这个就不说了,不知道的可以去看看其他的博文。 1.2 集群配置 搭建一个由3台机器组成的集群: nn: namenode snn: secondary namenode dn: da...

dwf07223 ⋅ 2014/10/12 ⋅ 0

在Linux上编译Hadoop-2.4.0

在CentOS release 6.3(64) 上编译 Hadoop-2.4.0 前言 安装依赖 编译Hadoop源代码 创建用户组 附1:编译环境 附2:版本信息 附3:常见错误 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件...

shking ⋅ 2014/05/12 ⋅ 0

Ubuntu11.10下安装Hadoop1.0.0(单机伪分布式)

环境配置:Ubuntu11.10,Hadoop1.0.0 安装ssh apt-get install ssh 安装rsync apt-get install rsync 配置ssh免密码登录 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/iddsa.pub >>~......

七七仙人掌 ⋅ 2012/01/10 ⋅ 9

没有更多内容

加载失败,请刷新页面

加载更多

下一页

windows profesional 2017 build problem

.net framework .... https://stackoverflow.com/questions/43330915/could-not-load-file-or-assembly-microsoft-build-frameworkvs-2017...

机油战士 ⋅ 15分钟前 ⋅ 0

python3中报错的解决方法(长期更新)

1、ImportError: No module named ‘DjangoUeditor’ 出错原因:安装DjangoUeditor库适用于python2,需要下载适用python3的 下载地址:https://github.com/twz915/DjangoUeditor3 2、python3......

xiaoge2016 ⋅ 19分钟前 ⋅ 0

数据结构与算法之双向链表

一、双向链表 1.双向链表的结点结构 typedef struct DualNode{ ElemType data; struct DualNode *prior; // 前驱结点 struct DualNode *next; // 后继结点}DualNode, *DuL...

aibinxiao ⋅ 39分钟前 ⋅ 0

五大最核心的大数据技术

大数据技术有5个核心部分,数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个部分,有哪些核心技术?这些技术有哪些潜在价值?看完今天的文章就知道了。 大数据学习群:7165810...

董黎明 ⋅ 40分钟前 ⋅ 0

PhpStorm 头部注释、类注释和函数注释的设置

首先,PhpStorm中文件、类、函数等注释的设置在:setting-》Editor-》FIle and Code Template-》Includes下设置即可,其中方法的默认是这样的: /**${PARAM_DOC}#if (${TYPE_HINT} != "v...

nsns ⋅ 41分钟前 ⋅ 0

spring.net AOP

http://www.springframework.net/doc-latest/reference/html/aop-quickstart.html https://www.cnblogs.com/wujy/archive/2013/04/06/3003120.html...

whoisliang ⋅ 45分钟前 ⋅ 0

【HAVENT原创】创建 Dockerfile 生成新的镜像,并发布到 DockerHub

注意:Win7 与 Win10 的版本存在差异,Win7 版本使用 Docker Quickstart Terminal 进入控制台,Win10下面直接用管理员权限打开控制台或者 PowerShell 即可;另外 Win7 下面只能访问 C盘,/ap...

HAVENT ⋅ 46分钟前 ⋅ 0

pom.xml出现web.xml is missing ...解决方案

提示信息应该能看懂。也就是缺少了web.xml文件,<failOnMissingWebXml>被设置成true了。 搜索了一下,Stack Overflow上的答案解决了问题,分享一下。 目前被顶次数最多的回答原文如下: This...

源哥L ⋅ 46分钟前 ⋅ 0

js时间戳与日期格式之间相互转换

1. 将时间戳转换成日期格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 // 简单的一句代码 var date = new Date(时间戳); //获取一个时间对象 /** 1. 下面是获取时间日期的方法,需要什么样的格式自己...

Jack088 ⋅ 52分钟前 ⋅ 0

web添加log4j

添加xml配置log4j.properties # Global logging configuration---root日志设置#log4j.rootLogger=info,dailyRollingFile,stdoutlog4j.rootLogger=debug,stdout,dailyRollingFile---......

黄柳淞 ⋅ 52分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部