文档章节

大数据学习之-hadoop单机搭建

cece_co
 cece_co
发布于 2017/07/24 20:26
字数 659
阅读 28
收藏 0

Hadoop 安装

系统macos 10.12.4,linux系统大体与此相似

brew insall hadoop

该命令安装是是最新版(2.8.0)

配置JAVA_HOME(之前已经配置过,java版本1.8)

配置ssh免密码登录

1、生成公钥,加入authorized_keys

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Hadoop 配置单节点使用

这里是使用单节点,brew install的hadoop目录在

/usr/local/Cellar/hadoop/2.8.0

配置文件目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop

配置 hdfs-site.xml

设置副本数为 1:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

配置 core-site.xml

设置文件系统访问的端口:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

配置 mapred-site.xml

设置 MapReduce 使用的框架:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

配置 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Hadoop运行

因为没有将hadoop目录环境变量,所以以下命令需要在/usr/local/Cellar/hadoop/2.8.0/libexec/sbin目录下运行。

启动hadoop

start-dfs.sh
start-yarn.sh

格式化文件系统

hdfs namenode -format

建立用户空间(相当于连接了hadoop)

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/$(whoami) # 这里是用户

建立好目录后可以使用hadoop命令进行查看了

hadoop fs -ls /user/$(whoami)

查看hadoop启动的进程情况

jps

网页查看

启动后可以在本地浏览器访问以下地址:

http://localhost:8088/cluster

http://localhost:50070

http://localhost:8042/node

Hadoop Hello World例程

利用自带的java程序测试,官方给了一个计算单词个数的代码也可以测试

建立测试文件上传到HDFS中

在本地建立文件,我创建的文件与内容如下

file01

Hello World Bye World dfss
dfsa

file02

hello test

dfs0

上传文件命令

hdfs dfs -put /User/liuce/input input #修改自己文件目录

可以在刚才创建的目录下看到刚才上传的文件:/user/$(whoami)/input  #input自动生成的

运行测试程序

自带demo程序目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/share/hadoop/mapreduce

运行测试程序

hadoop jar ./hadoop-mapreduce-examples-2.8.0.jar grep input output 'dfs[a-z.]+'

测试程序是计算以dfs单词的个数,结果记录在/user/$(whoami)/out/part-r-00000

删除刚才生成的文件

hdfs dfs -rm -r /user/$(whoami)/input
hdfs dfs -rm -r /user/$(whoami)/output

 

快速搭建方式

在推荐两种快速的方式

1、安装docker,基于docker的hadoop

docker pull sequenceiq/hadoop-docker:2.7.1
docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash

2、虚拟机直接启动

访问网站 https://bitnami.com/ 搜索hadoop下载镜像,直接用相应的虚拟机启动。

运行hadoop启动命令就可以了,这种方式也可以方便搭建集群环境。

 

© 著作权归作者所有

共有 人打赏支持
cece_co
粉丝 0
博文 5
码字总数 2223
作品 0
浦东
高级程序员
私信 提问
hadoop_学习_02_Hadoop环境搭建(单机)

一、环境准备 1.说明 hadoop的下载来源有: 官方版本:http://archive.apache.org/dist/hadoop/ CDH版本:http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本,因为比较稳定。 若决定...

rayner
03/21
0
0
kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop学习02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase学习01HBase环境搭建(单机...

rayner
03/20
0
0
分析几种Hadoop集群部署方式优劣

对hadoop初学者来说,或者说正在使用hadoop的开发者来说,hadoop环境的搭建不是一件省心的事,甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”,可见很多人在搭建环境时会遇到很...

cpaqyx
2017/06/25
0
0
大数据怎样才能踏入进去?年薪60万大数据架构师教你如何入门!

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

董黎明
06/09
0
0
Hadoop新手学习指导

对于我们新手入门学习hadoop大数据存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的: 云计算,是一种基于互联网的计算方式,通过这种方式,共...

一枚Sir
2014/08/07
87
0

没有更多内容

加载失败,请刷新页面

加载更多

Java 如何实现线程间通信?

正常情况下,每个子线程完成各自的任务就可以结束了。不过有的时候,我们希望多个线程协同工作来完成某个任务,这时就涉及到了线程间通信了。 本文涉及到的知识点: thread.join(), object....

颖辉小居
33分钟前
2
0
记一次阿里云服务器运行慢排除

公司测试环境用的阿里云服务器+docker部署的,一共跑了14个项目。之前几个月一直OK,最近几天突然很卡很慢。刚开始以为是项目问题,又是扩大内存,又是清减插件,甚至停了一半项目。结果CPU...

李玉长
34分钟前
2
0
统一客服消息返回错误:{"errcode":43004,"errmsg":"require subscribe hint: [9Vv08633952]"}

公众号或者小程序发送客服消息错误: {"errcode":43004,"errmsg":"require subscribe hint: [9Vv08633952]"} 场景:小程序使用公众号的服务消息,推送消息,如果接收人没有关注公众号,就会出...

tianma3798
45分钟前
1
0
Rainbond V5.0 Beta公测公告

Rainbond支撑企业应用的开发、架构、交付和运维的全流程,通过“无侵入”架构无缝衔接各类企业应用,底层资源可以对接和管理IaaS、虚拟机和物理服务器 Rainbond V5.0即日起开启Beta版本公测,...

好雨云帮
今天
2
0
Word Pattern(leetcode290)

Given a pattern and a string str, find if str follows the same pattern. Here follow means a full match, such that there is a bijection between a letter in pattern and a non-empt......

woshixin
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部