大数据学习之-hadoop单机搭建
博客专区 > cece_co 的博客 > 博客详情
大数据学习之-hadoop单机搭建
cece_co 发表于6个月前
大数据学习之-hadoop单机搭建
  • 发表于 6个月前
  • 阅读 26
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: 快速搭建hadoop

Hadoop 安装

系统macos 10.12.4,linux系统大体与此相似

brew insall hadoop

该命令安装是是最新版(2.8.0)

配置JAVA_HOME(之前已经配置过,java版本1.8)

配置ssh免密码登录

1、生成公钥,加入authorized_keys

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Hadoop 配置单节点使用

这里是使用单节点,brew install的hadoop目录在

/usr/local/Cellar/hadoop/2.8.0

配置文件目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop

配置 hdfs-site.xml

设置副本数为 1:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

配置 core-site.xml

设置文件系统访问的端口:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

配置 mapred-site.xml

设置 MapReduce 使用的框架:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

配置 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Hadoop运行

因为没有将hadoop目录环境变量,所以以下命令需要在/usr/local/Cellar/hadoop/2.8.0/libexec/sbin目录下运行。

启动hadoop

start-dfs.sh
start-yarn.sh

格式化文件系统

hdfs namenode -format

建立用户空间(相当于连接了hadoop)

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/$(whoami) # 这里是用户

建立好目录后可以使用hadoop命令进行查看了

hadoop fs -ls /user/$(whoami)

查看hadoop启动的进程情况

jps

网页查看

启动后可以在本地浏览器访问以下地址:

http://localhost:8088/cluster

http://localhost:50070

http://localhost:8042/node

Hadoop Hello World例程

利用自带的java程序测试,官方给了一个计算单词个数的代码也可以测试

建立测试文件上传到HDFS中

在本地建立文件,我创建的文件与内容如下

file01

Hello World Bye World dfss
dfsa

file02

hello test

dfs0

上传文件命令

hdfs dfs -put /User/liuce/input input #修改自己文件目录

可以在刚才创建的目录下看到刚才上传的文件:/user/$(whoami)/input  #input自动生成的

运行测试程序

自带demo程序目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/share/hadoop/mapreduce

运行测试程序

hadoop jar ./hadoop-mapreduce-examples-2.8.0.jar grep input output 'dfs[a-z.]+'

测试程序是计算以dfs单词的个数,结果记录在/user/$(whoami)/out/part-r-00000

删除刚才生成的文件

hdfs dfs -rm -r /user/$(whoami)/input
hdfs dfs -rm -r /user/$(whoami)/output

 

快速搭建方式

在推荐两种快速的方式

1、安装docker,基于docker的hadoop

docker pull sequenceiq/hadoop-docker:2.7.1
docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash

2、虚拟机直接启动

访问网站 https://bitnami.com/ 搜索hadoop下载镜像,直接用相应的虚拟机启动。

运行hadoop启动命令就可以了,这种方式也可以方便搭建集群环境。

 

共有 人打赏支持
粉丝 0
博文 5
码字总数 2223
×
cece_co
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: