文档章节

Hadoop-2.8.0 开发环境搭建(Mac)

飞鱼湾
 飞鱼湾
发布于 2017/07/24 16:09
字数 1111
阅读 7
收藏 0
点赞 0
评论 0

Hadoop是一个由Apache基金会开发的分布式系统架构,简称HDFS,具有高容错性、可伸缩性等特点,并且可以部署在低配置的硬件上;同时,提供了高吞吐量的数据访问性能,适用于超大数据集的应用程序,以及通过集群拓扑高效快速的处理数据的能力。

本文主要介绍一下Hadoop的开发环境搭建,平台是Mac系统。

下载源码

在搭建环境之前,需要先下载hadoopbinary,可以把 source也下载下来,方便以后阅读。下载后进行解压:

$ tar -zxvf hadoop-2.8.0.tar.gz

配置hadoop

hadoop的配置稍许麻烦,暂时没有一键化配置的功能;另外,hadoop是基于java开发的,所需需要安装java开发环境,如果没有安装,请参考其它资料先安装java开发环境。设置好java开发环境后,再设置hadoop的开发环境。

hadoop的配置文件主要都在etc/hadoop目录下,可以配置hdfsyarnmapreduce等,下面具体介绍:

1. 添加hadoop环境变量

添加的方式很多,可以修改系统级的文件,如:/etc/bashrc/etc/profile,也可以修改当然用户的文件,比如:~/.bash_profile(shell用的是bash)、~/.zshrc(shell用的是zsh),添加如下代码即可

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home
export HADOOP_HOME=/Users/gandalf/Documents/kelvin/Hadoop/hadoop-2.8.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完成后,需要设置其生效,安装zsh的配置设置:

$ source ~/.zshrc

设置完成后,如果出现下面信息,表示hadoop开发环境变量设置好了

$ hadoop version
Hadoop 2.8.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 91f2b7a13d1e97be65db92ddabc627cc29ac0009
Compiled by jdu on 2017-03-17T04:12Z
Compiled with protoc 2.5.0
From source with checksum 60125541c2b3e266cbf3becc5bda666
This command was run using /Users/gandalf/Documents/kelvin/Hadoop/hadoop-2.8.0/share/hadoop/common/hadoop-common-2.8.0.jar

2. 修改hadoop-env.sh

直接设置JAVA_HOME的路径,不要用$JAVA_HOME代替,因为hadoop对系统变量的支持不是太好

# The java implementation to use.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

3. 修改core-site.xml

设置hadoop的临时目录及文件系统,其中localhost:9000表示本地主机,如果是远程主机,则需要把localhost修改为相应的IP地址,如果填写远程主机的域名,则需要到/etc/hosts文件中做DNS映射

<configuration>
	<!--设置临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/Users/gandalf/Documents/kelvin/Hadoop/hadoop-2.8.0/data</value>
	</property>
	<!--设置文件系统-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

4. 配置hdfs-site.xml

由于是一台Mac电脑,所以数据的副本设置为1,默认是3

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

5. 配置mapred-site.xml

由于hadoop的根目录下的etc/hadoop目录下没有mapred-site.xml文件,所以需要创建该文件,但是我们可以直接把etc/hadoop目录下的mapred-site.xml.template文件重命名为mapred-site.xml,然后配置数据处理的框架为yarn

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

6. 配置yarn-site.xml

配置数据处理框架yarn

<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>localhost:9000</value>
	</property>
</configuration>

启动hadoop

配置完hadoop后,就可以启动hadoop

1. 启动namenode

$ hadoop namenode -format

如果出现如下图片提示,表示namenode启动成功

图1

需要注意的是,如果有错误,请先检查是不是hadoop安装包是32-bit,而计算机系统是64-bit,造成不匹配

2. 启动hdfs

启动hdfs,有可能需要输入3次密码

$ start-dfs.sh

如果出现如下提示,表示hadoop无法远程登录主机,需要开放权限

图2

具体开放权限的步骤如下,先到系统设置里的共享里,然后允许远程登录,最后添加当前的用户即可:

图3

图4

如果不想每次启动都输入3次密码,可以添加ssh的公钥到authorized_keys文件中

// 添加ssh的公钥到authorized_keys文件中
$ mkdir ~/.ssh && cd ~/.ssh
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 启动yarn

启动数据处理mapreduce框架yarn

$ start-yarn.sh

如果执行jps命令出现如下提示,表示hadoop启动完成

图5

4. 浏览器查看hadoop

我们也可以通过浏览器查看hadoop的详细信息,打开链接:

http://localhost:50070/

然后在如下界面,我们就可以查看hadoop的具体信息了

图6


hadoop的开发环境搭建如上,如有不足之处,欢迎指出,共同进步

© 著作权归作者所有

共有 人打赏支持
飞鱼湾
粉丝 2
博文 42
码字总数 74643
作品 0
浦东
程序员
Centos下docker搭建Hadoop集群

  随着业务发展需要,数据量的逐步提升,需要用到Hadoop来处理一些数据,所以搭建一个Hadoop集群,搭建Hadoop集群需要多台主机,但是由于资源有限,所以刚好可以利用近些年比较火的docker来...

大数据头条 ⋅ 2017/12/28 ⋅ 0

Live Node数量正确,但是DataNodes列表只能显示一条

Centos环境搭建hadoop2集群,hadoop版本为2.8.0,规划了三个datanode节点,搭建好后通过web平台可以看到LiveNode为3,但是点进去看DataNode列表只能显示一个节点(node name为 localhosl) ...

interceptor ⋅ 2017/05/05 ⋅ 1

CentOS 下 Hadoop集群搭建

1 下载hadoop 2 安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将autho...

zxszxs ⋅ 06/15 ⋅ 0

Java 运行HBase 例子报错

请问Java连接HBase报这个错怎么解决: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax......

驛路梨花醉美 ⋅ 2017/05/26 ⋅ 2

hadoop的datanode不能启动,谁能帮忙一下

@Baclk5 你好,想跟你请教个问题: [hadoop@slave2 hadoop-2.8.0]$ sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [mas......

rulingyuye ⋅ 2017/04/26 ⋅ 4

Java 开源博客 Solo 2.8.0 发布,支持上传至本地服务器

Solo 是一款一个命令就能搭建好的 Java 开源博客系统,如果你想开个独立博客,请一定不要错过! 2.8.0 版本支持了文件上传本地服务器,并修复了一些缺陷,强烈建议升级到该版本。 安装 下载安...

88250 ⋅ 04/17 ⋅ 0

大数据学习笔记-(二)启动集群&配置IDE环境

参考网站:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html 1.启动集群,格式化文件系统 bin/hdfs namenode -format 2.启动 sbin/start-dfs.sh ......

langyw98 ⋅ 2017/11/06 ⋅ 0

Java 开源博客 Solo 2.9.0 发布,支持后台文章搜索

Solo 是一款一个命令就能搭建好的 Java 开源博客系统,如果你想开个独立博客,请一定不要错过! 2.9.0 版本支持了后台文章搜索,并改进了 PWA 支持。 安装 下载安装包 解压后执行 java -cp W...

88250 ⋅ 05/17 ⋅ 3

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7...

涩女郎 ⋅ 2016/09/20 ⋅ 0

hadoop 开发环境搭建

hadoop 开发环境搭建 (ubuntu + idea ) @(hadoop笔记)[idea 开发环境] 基于ubuntu 和 idea 搭建 hadoop开发环境,其实是搭建MR的开发环境。这里简单说一下为什么采用idea,就因为一点,ide...

OttoWu ⋅ 2016/12/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringCloud 微服务 (六) 服务通信 RestTemplate

壹 通信的方式主要有两种,Http 和 RPC SpringCloud使用的是Http方式通信, Dubbo的通信方式是RPC 记录学习SpringCloud的restful方式: RestTemplate (本篇)、Feign 贰 RestTemplate 类似 Http...

___大侠 ⋅ 14分钟前 ⋅ 0

React创建组件的三种方式

1.无状态函数式组建 无状态函数式组件,也就是你无法使用State,也无法使用组件的生命周期方法,这就决定了函数组件都是展示性组件,接收Props,渲染DOM,而不关注其他逻辑。 无状态函数式组...

kimyeongnam ⋅ 21分钟前 ⋅ 0

react 判断实例类型

今天在写组件的时候想通过判断内部子元素不同而在父元素上应用不同的class,于是首先要解决的就是如何判断子元素的类型。 这里附上一个讲的很全面的文章: https://www.cnblogs.com/onepixel...

球球 ⋅ 28分钟前 ⋅ 0

Centos7备份数据到百度网盘

一、关于 有时候我们需要进行数据备份,如果能自动将数据备份到百度网盘,那将会非常方便。百度网盘有较大的存储空间,而且不怕数据丢失,安全可靠。下面简单的总结一下如何使用 bypy 实现百...

zctzl ⋅ 42分钟前 ⋅ 0

开启远程SSH

SSH默认没有开启账号密码登陆,需要再配置表中修改: vim /etc/ssh/sshd_configPermitRootLogin yes #是否可以使用root账户登陆PasswordAuthentication yes #是都开启密码登陆ser...

Kefy ⋅ 44分钟前 ⋅ 0

Zookeeper3.4.11+Hadoop2.7.6+Hbase2.0.0搭建分布式集群

有段时间没更新博客了,趁着最近有点时间,来完成之前关于集群部署方面的知识。今天主要讲一讲Zookeeper+Hadoop+Hbase分布式集群的搭建,在我前几篇的集群搭建的博客中已经分别讲过了Zookeep...

海岸线的曙光 ⋅ 52分钟前 ⋅ 0

js保留两位小数方法总结

本文是小编针对js保留两位小数这个大家经常遇到的经典问题整理了在各种情况下的函数写法以及遇到问题的分析,以下是全部内容: 一、我们首先从经典的“四舍五入”算法讲起 1、四舍五入的情况...

孟飞阳 ⋅ 今天 ⋅ 0

python log

python log 处理方式 log_demo.py: 日志代码。 #! /usr/bin/env python# -*- coding: utf-8 -*-# __author__ = "Q1mi""""logging配置"""import osimport logging.config# 定义三种......

inidcard ⋅ 今天 ⋅ 0

mysql 中的信息数据库以及 shell 查询 sql

Information_schema 是 MySQL 自带的信息数据库,里面的“表”保存着服务器当前的实时信息。它提供了访问数据库元数据的方式。 什么是元数据呢?元数据是关于数据的数据,如数据库名或表名,...

blackfoxya ⋅ 今天 ⋅ 0

maven配置阿里云镜像享受飞的感觉

1.在maven目录下的conf/setting.xml中找到mirrors添加如下内容,对所有使用改maven打包的项目生效。 <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.al......

kalnkaya ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部