文档章节

hadoop 安装

熊大熊二
 熊大熊二
发布于 2017/06/22 21:36
字数 254
阅读 38
收藏 0

       spark+hadoop的组合是将来大数据的发展趋势,简单说一下hadoop的安装

    下载hadoop安装包

    http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.8.0/

    解压:tar -zxvf hadoop-2.8.0.tar.gz 

    配置环境变量

    export HADOOP_HOME=/home/qpx/tool/hadoop-2.8.0
    export PATH=.:$SPARK_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

    修改 hadoop-env.sh    

 export JAVA_HOME=${JAVA_HOME}

    修改core-site.xml

<configuration>
<property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change you own hadoop hostname</description>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

  修改hdfs-site.xml 

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>9001</value>
                <description>change you own hostname</description>
        </property>
</configuration>

修改mapred-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
</configuration>

接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;

启动hadoop并验证。启动命令:start-all.sh;验证命令:jps

希望对您有所帮助

后续进行spark 的入门学习

© 著作权归作者所有

共有 人打赏支持
熊大熊二
粉丝 15
博文 31
码字总数 29359
作品 0
东城
程序员
私信 提问
加载中

评论(2)

侠客人生
侠客人生
很有用
如梦技术
如梦技术
:neckbeard:多写点~
ubuntu14.04下安装Hadoop

一、环境准备 1、ubuntu 14.04 2、hadoop 2.7.2 文件较大(202M),选择一种下载方式下载。下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 3...

孟飞阳
2016/06/25
1K
8
如何获取Hadoop Native Lib

前言 最近需要安装CDH4.5, 在重启后提示缺失native lib, 经过一番折腾后,终于安装成功,下面记录下native lib的获取过程. @Author duangr @Website http://my.oschina.net/duangr/blog/18090...

一只小逛
2013/12/02
0
1
Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri
2017/12/16
0
0
Ubuntu14.04 搭建hadoop单机版

一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo addus...

喜欢敲代码的感觉
2014/10/16
0
0
Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7...

涩女郎
2016/09/20
38
0

没有更多内容

加载失败,请刷新页面

加载更多

基于redis的分布式锁

redisson提供了基于redis的分布式锁实现方式,本文就尝试了下锁的使用方式。Redisson同时还为分布式锁提供了异步执行的相关方法,第二节执行介绍。 一、可重入锁验证 同一个jvm里面同一线程的...

noob_chr
11分钟前
1
0
CPU性能过剩提升乏力影响未来行业发展吗?

虽然CPU仍然在不断发展,但是它的性能已经不再仅仅受限于单个处理器类型或制造工艺上了。和过去相比,CPU性能提升的步伐明显放缓了,接下来怎么办,成为横亘在整个行业面前的大问题。 自201...

linux-tao
13分钟前
0
0
设计模式“6”大原则!

面向对象设计原则 概述 对于面向对象软件系统的设计而言,在支持可维护性的同时,提高系统的可复用性是一个至关重要的问题,如何同时提高一个软件系统的可维护性和可复用性是面向对象设计需要...

Java干货分享
30分钟前
5
0
mybatis学习(1)

JDBC连接方式: 1.底层没有使用连接池,操作数据库需要频繁的创建和关闭连接,消耗资源。 2.写原生的JDBC代码在JAVA中,一旦需要修改SQL的话(比如表增加字段),JAVA需要整体重新编译,不利...

杨健-YJ
今天
4
0
怎么组织文档

可以从以下几个方面考虑组织文档: ☐ 各种分支的界面截图和对应的类及文件 ☐ 框架或类图 ☐ 流程图 ☐ 时序图 ☐ 注意事项

-___-
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部