文档章节

大数据学习之-hadoop单机搭建

cece_co
 cece_co
发布于 2017/07/24 20:26
字数 659
阅读 28
收藏 0

Hadoop 安装

系统macos 10.12.4,linux系统大体与此相似

brew insall hadoop

该命令安装是是最新版(2.8.0)

配置JAVA_HOME(之前已经配置过,java版本1.8)

配置ssh免密码登录

1、生成公钥,加入authorized_keys

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Hadoop 配置单节点使用

这里是使用单节点,brew install的hadoop目录在

/usr/local/Cellar/hadoop/2.8.0

配置文件目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop

配置 hdfs-site.xml

设置副本数为 1:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

配置 core-site.xml

设置文件系统访问的端口:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

配置 mapred-site.xml

设置 MapReduce 使用的框架:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

配置 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Hadoop运行

因为没有将hadoop目录环境变量,所以以下命令需要在/usr/local/Cellar/hadoop/2.8.0/libexec/sbin目录下运行。

启动hadoop

start-dfs.sh
start-yarn.sh

格式化文件系统

hdfs namenode -format

建立用户空间(相当于连接了hadoop)

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/$(whoami) # 这里是用户

建立好目录后可以使用hadoop命令进行查看了

hadoop fs -ls /user/$(whoami)

查看hadoop启动的进程情况

jps

网页查看

启动后可以在本地浏览器访问以下地址:

http://localhost:8088/cluster

http://localhost:50070

http://localhost:8042/node

Hadoop Hello World例程

利用自带的java程序测试,官方给了一个计算单词个数的代码也可以测试

建立测试文件上传到HDFS中

在本地建立文件,我创建的文件与内容如下

file01

Hello World Bye World dfss
dfsa

file02

hello test

dfs0

上传文件命令

hdfs dfs -put /User/liuce/input input #修改自己文件目录

可以在刚才创建的目录下看到刚才上传的文件:/user/$(whoami)/input  #input自动生成的

运行测试程序

自带demo程序目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/share/hadoop/mapreduce

运行测试程序

hadoop jar ./hadoop-mapreduce-examples-2.8.0.jar grep input output 'dfs[a-z.]+'

测试程序是计算以dfs单词的个数,结果记录在/user/$(whoami)/out/part-r-00000

删除刚才生成的文件

hdfs dfs -rm -r /user/$(whoami)/input
hdfs dfs -rm -r /user/$(whoami)/output

 

快速搭建方式

在推荐两种快速的方式

1、安装docker,基于docker的hadoop

docker pull sequenceiq/hadoop-docker:2.7.1
docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash

2、虚拟机直接启动

访问网站 https://bitnami.com/ 搜索hadoop下载镜像,直接用相应的虚拟机启动。

运行hadoop启动命令就可以了,这种方式也可以方便搭建集群环境。

 

© 著作权归作者所有

共有 人打赏支持
cece_co
粉丝 0
博文 5
码字总数 2223
作品 0
浦东
高级程序员
hadoop_学习_02_Hadoop环境搭建(单机)

一、环境准备 1.说明 hadoop的下载来源有: 官方版本:http://archive.apache.org/dist/hadoop/ CDH版本:http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本,因为比较稳定。 若决定...

rayner
03/21
0
0
大数据怎样才能踏入进去?年薪60万大数据架构师教你如何入门!

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

董黎明
06/09
0
0
kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop学习02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase学习01HBase环境搭建(单机...

rayner
03/20
0
0
大数据hadoop是什么?初学者如何进行系统学习?

大数据的火爆程度在不断的增加,似乎一个行业不和大数据相对接就会显得很“LOW”。大数据行业的薪资水平越来越高,决定了更多的人纷纷学习大数据,hadoop作为大数据的一个核心自然就是学习的...

hainiubuluo
05/25
0
0
Apache Hadoop 入门教程第二章

Apache Hadoop 单节点上的安装配置 下面将演示快速完成在单节点上的 Hadoop 安装与配置,以便你对 Hadoop HDFS 和 MapReduce 框架有所体会。 先决条件 支持平台: GNU/Linux:已经证实了 Ha...

哈斗篷
05/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

聊聊redisson的DelayedQueue

序 本文主要研究一下redisson的DelayedQueue maven <dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.8.1</version></dependenc......

go4it
15分钟前
1
0
一张图看懂JVM

JVM结构示意图 JVM总体概述 JVM总体上是由类装载子系统(ClassLoader)、运行时数据区、执行引擎、内存回收这四个部分组成。其中我们最为关注的运行时数据区,也就是JVM的内存部分则是由方法...

小致dad
17分钟前
0
0
安全管理标准

安全生产严重等级分类: 故障频次: 风险等级矩阵:

乔老哥
48分钟前
2
0
数据结构“树”的相关微视频

今天在腾讯视频上闲逛,然後发现一个叫“岚人”的用户上传了几段小视频,基本上都在5分钟以内,讲解了关于树的一些结构和算法。零代码,非常适合初学者入门。不过,对于老鸟来说,这也是非常...

Iridium
今天
1
0
10-利用思维导图梳理JavaSE-Java 集合

10-利用思维导图梳理JavaSE-Java 集合 主要内容 1.Collection接口 2.Set接口 2.1.Set接口概述 2.2.HashSet类 2.3.TreeSet类 2.4.SortedSet接口 3.List接口 3.1.List接口概述 3.2.ArrayList类...

飞鱼说编程
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部