文档章节

Hadoop 单机基本操作教程

一瞳孔
 一瞳孔
发布于 2017/06/16 17:38
字数 695
阅读 1
收藏 0
点赞 0
评论 0

0. 先决条件,已经安装好 Java 环境

1. hadoop 安装

下载地址:http://hadoop.apache.org/releases.html,下载完成之后

$ tar xvf hadoop-2.6.4.tar # 解压
$ mv hadoop-2.6.4 /usr/local # 将解压后文件复制到 /usr/local 里
$ cd /usr/local/hadoop-2.6.4/bin # 进入hadoop命令目录
$ ./hadoop version # 查看hadoop版本
Hadoop 2.6.4
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 5082c73637530b0b7e115f9625ed7fac69f937e6
Compiled by jenkins on 2016-02-12T09:45Z
Compiled with protoc 2.5.0
From source with checksum 8dee2286ecdbbbc930a6c87b65cbc010
This command was run using /usr/local/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar

 

2. hadoop 分布式配置

2.1 修改 hadoop 的 core-site.xml 配置文件

$ cd /usr/local/hadoop-2.6.4/etc/hadoop
$ vi core-site.xml # 编辑 core-site.xml 配置文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/usr/local/hadoop/tmp</value>
         <description>Abase for other temporary directories.</description>
    </property>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.2 修改 hadoop 的 hdfs-site.xml 配置文件

$ cd /usr/local/hadoop-2.6.4/etc/hadoop
$ vi hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/usr/local/hadoop-data/tmp/dfs/name</value>
    </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/usr/local/hadoop-data/tmp/dfs/data</value>
    </property>
</configuration>

2.3 以上配置完成之后,执行 NameNode 的格式化

$ cd /usr/local/hadoop-2.6.4/bin

#执行下面命令之后的返回信息中应该出现
#common.Storage: Storage directory /usr/local/hadoop-2.6.4/site_data/hadoop-data/tmp/dfs/name has been successfully formatted.
#util.ExitUtil: Exiting with status 0
$ ./hdfs namenode -format

2.4 开启 NameNode 和 DataNode 守护进程

$ cd /usr/local/hadoop-2.6.4/sbin

#执行下面命令之后,如果出现
#Are you sure you want to continue connecting(yes/no)?
#输入yes 
$ ./start-dfs.sh

如果启动时提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,则可以忽略提示,不会影响正常使用。

2.5 完成启动之后,使用 jps 来判断启动是否成功

$ jps
4355 DataNode
4499 SecondaryNameNode
4240 NameNode
11332 Jps

DataNode、NameNode 和 SecondaryNameNode 这三个进程必须存在,缺一不可。

PS. 如果 DataNode 无法正常启动,则可以删除所有 tmp 文件

$ cd /usr/local/hadoop-2.6.4/sbin
$ ./stop-dfs.sh #关闭
$ cd /usr/local/hadoop #具体路径查看 core-site.xml 配置文件
$ rm -rf tmp
$ cd /usr/local/hadoop-data #具体路径查看 hdfs-site.xml 配置文件
$ rm -rf tmp

3. 运行 hadoop 的实例,进行开发测试

$ cd /usr/local/hadoop-2.6.4/bin

#在hdfs上创建一个hadoop实例读取日志文本的目录
$ ./hdfs dfs -mkdir -p /user/hadoop/input

#将本地的日志文件上传至hdfs的/user/hadoop/input/目录中
$ ./hdfs dfs -put /home/guonan/user-behave.log /user/hadoop/input/

#查看hdfs中/user/hadoop/input/目下的文件
$ ./hdfs dfs -ls /user/hadoop/input/

#运行hadoop执行实例的命令
#如果重新执行该命令,则必须先删除/user/hadoop/output/该目录
#使用 ./hdfs dfs -rm -r /user/hadoop/output 删除
$ ./hadoop jar /home/guonan/user-behave-1.0.jar /user/hadoop/input/user-behave.log /user/hadoop/output/

#查看执行结果
$ ./hdfs dfs -cat /user/hadoop/output/*

 

© 著作权归作者所有

共有 人打赏支持
一瞳孔
粉丝 0
博文 5
码字总数 4534
作品 0
西城
程序员
hadoop 的安装配置教程

Hadoop安装配置简略教程 http://www.powerxing.com/install-hadoop-simplify/ Hadoop安装教程_单机/伪分布式配置 http://www.powerxing.com/install-hadoop/ Hadoop集群安装配置教程 http:/......

haopeng ⋅ 2015/12/10 ⋅ 0

基本hadoop文件操作

1、启动hadoop工程 2、eclipse导入插件 将hadoop-eclipse-plugin-2.6.0.jar插件导入eclipse中,重启eclipse 3、在Map/Reduce的窗口下建立连接(单机版) 4、创建工程,导入jar,配置文件 提示...

Java_Coder ⋅ 2015/05/10 ⋅ 0

Ubuntu上搭建Hadoop环境

单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文...

pj7572780 ⋅ 2016/11/22 ⋅ 0

Apache Hadoop 入门教程第二章

Apache Hadoop 单节点上的安装配置 下面将演示快速完成在单节点上的 Hadoop 安装与配置,以便你对 Hadoop HDFS 和 MapReduce 框架有所体会。 先决条件 支持平台: GNU/Linux:已经证实了 Ha...

哈斗篷 ⋅ 05/10 ⋅ 0

Zookeeper安装教程(windows和Linux的详细版)

ZooKeeper基础 简介 Zookeeper是Apacahe Hadoop的子项目,是一个树型的目录服务,支持变更推送,适合作为Dubbo服务的注册中心,工业强度较高,可用于生产环境,并推荐使用。 可以作为集群的管...

weir_will ⋅ 2017/12/12 ⋅ 0

[ Hadoop ] 单机伪集群配置试验和分析

同步发在: https://evergreen-tree.github.io/articles/2016-05/daily-hadoop-singleNode-setup 以下内容摘自网路: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不...

巴林的狗尾草 ⋅ 2016/05/25 ⋅ 13

hadoop实战二 单机部署2

5,打开hadoop/conf/hadoop-env.sh文件,修改如下: 找到#export JAVA_HOME=··去掉#,然后加上本机jdk的路径 6, 打开conf/core-site.xml文件,如下图: property后面需要手工添加 7, 打开...

haokuan521 ⋅ 2013/07/21 ⋅ 0

第 16 章 Apache Hbase

目录 16.1. 安装 Apache Hbase 16.2. 配置 Apache Hbase 16.3. Hbase Shell 16.4. Web UI 16.5. Phoenix 16.6. FAQ 注意:Apache Hbase 不能使用 OpenJDK 启动,需要去 Oracle 网站下载 Serv......

玄学酱 ⋅ 01/03 ⋅ 0

Hadoop cluster on Cubieboards

hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Had...

cubieboard ⋅ 2014/08/10 ⋅ 0

(单机)CentOS 7_64位系统下搭建Hadoop_2.8.0分布式环境

准备条件: CentOS 7 64位操作系统 | 选择版本即可(不带可视化桌面环境),也可以选择带完整版 Hadoop-2.8.0 | 本文采用的是版本。 JDK1.8 | 本文采用版本。 - 解压并配置JDK并配置Hadoop ...

Youngs ⋅ 2017/06/07 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Mahout推荐算法API详解

前言 用Mahout来构建推荐系统,是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法,并实现了并行化,提供非常简单的API接口;困难是因为我们不了解算法细节,很难去根...

xiaomin0322 ⋅ 27分钟前 ⋅ 0

WampServer默认web服务器根目录位置

安装WampServer之后的web服务器根目录默认位置在WampServer安装目录下的www:

临江仙卜算子 ⋅ 28分钟前 ⋅ 0

Redux的一些手法记录

Redux Redux的基本概念见另一篇文。 这里记录一下Redux在项目中的实际操作的手法。 actions 首先定义action.js,actions的type,可以另起一个action-type.js文件。 action-type.js用来存...

LinearLaw ⋅ 29分钟前 ⋅ 0

android 手势检测(左右滑动、上下滑动)

GestureDetector类可以让我们快速的处理手势事件,如点击,滑动等。 使用GestureDetector分三步: 1. 定义GestureDetector类 2. 初始化手势类,同时设置手势监听 3. 将touch事件交给gesture...

王先森oO ⋅ 43分钟前 ⋅ 0

java 方法的执行时间监控 设置超时(Future 接口)

java 方法的执行时间监控 设置超时(Future 接口) import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.Executor......

青峰Jun19er ⋅ 48分钟前 ⋅ 0

一名开源小白的Apache成长自述

今天收到了来自Apache Vote我成为Serviceomb项目Committer的邮件,代表自己的贡献得到了充分的肯定;除了感谢团队的给力支持,我更希望将自己的成长经历——如何践行Apache Way的心得介绍给大...

微服务框架 ⋅ 50分钟前 ⋅ 0

vim介绍、颜色显示和移动光标、一般模式下复制、剪切和粘贴

1.vim 是 vi 的升级版 vim 是带有颜色显示的 mini安装的系统,一般都不带有vim [root@aminglinux-128 ~]# yum install -y vim-enhanced已加载插件:fastestmirror, langpacksLoading mir...

oschina130111 ⋅ 50分钟前 ⋅ 0

Deepin 操作系统四面楚歌

作为国内做的最好的 Linux 发行版,源自 Debian sid 的 Deepin 目前正面临重重困境,新版本不断延期,开发人员离职,bug 长期得不到修复,和 Debian/Ubuntu 的兼容性问题也面临越来越严重的挑...

六库科技 ⋅ 51分钟前 ⋅ 0

MyBatis之动态sql

我们需要知道的是,使用mybatis重点是对sql的灵活解析和处理。在原先的UserMappser.xml中,我们这样查询表中满足条件的记录 : 123 <select id="findUserList" parameterType="userQuery...

瑟青豆 ⋅ 51分钟前 ⋅ 0

这届俄罗斯世界杯的冷门那么多怎么办?

最纯粹的世界杯,最神奇的大冷门。 德国0比1被墨西哥摩擦了。 日本历史性的赢了哥伦比亚。 C罗也挑平了西班牙。 梅西被冰岛狮吼吼愣神了。 就连11次进世界杯4强的巴西也被瑞士逼平了。 天台已...

开源中国众包平台 ⋅ 52分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部