文档章节

Hadoop 单机基本操作教程

一瞳孔
 一瞳孔
发布于 2017/06/16 17:38
字数 695
阅读 44
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

0. 先决条件,已经安装好 Java 环境

1. hadoop 安装

下载地址:http://hadoop.apache.org/releases.html,下载完成之后

$ tar xvf hadoop-2.6.4.tar # 解压
$ mv hadoop-2.6.4 /usr/local # 将解压后文件复制到 /usr/local 里
$ cd /usr/local/hadoop-2.6.4/bin # 进入hadoop命令目录
$ ./hadoop version # 查看hadoop版本
Hadoop 2.6.4
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 5082c73637530b0b7e115f9625ed7fac69f937e6
Compiled by jenkins on 2016-02-12T09:45Z
Compiled with protoc 2.5.0
From source with checksum 8dee2286ecdbbbc930a6c87b65cbc010
This command was run using /usr/local/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar

 

2. hadoop 分布式配置

2.1 修改 hadoop 的 core-site.xml 配置文件

$ cd /usr/local/hadoop-2.6.4/etc/hadoop
$ vi core-site.xml # 编辑 core-site.xml 配置文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/usr/local/hadoop/tmp</value>
         <description>Abase for other temporary directories.</description>
    </property>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.2 修改 hadoop 的 hdfs-site.xml 配置文件

$ cd /usr/local/hadoop-2.6.4/etc/hadoop
$ vi hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/usr/local/hadoop-data/tmp/dfs/name</value>
    </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/usr/local/hadoop-data/tmp/dfs/data</value>
    </property>
</configuration>

2.3 以上配置完成之后,执行 NameNode 的格式化

$ cd /usr/local/hadoop-2.6.4/bin

#执行下面命令之后的返回信息中应该出现
#common.Storage: Storage directory /usr/local/hadoop-2.6.4/site_data/hadoop-data/tmp/dfs/name has been successfully formatted.
#util.ExitUtil: Exiting with status 0
$ ./hdfs namenode -format

2.4 开启 NameNode 和 DataNode 守护进程

$ cd /usr/local/hadoop-2.6.4/sbin

#执行下面命令之后,如果出现
#Are you sure you want to continue connecting(yes/no)?
#输入yes 
$ ./start-dfs.sh

如果启动时提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,则可以忽略提示,不会影响正常使用。

2.5 完成启动之后,使用 jps 来判断启动是否成功

$ jps
4355 DataNode
4499 SecondaryNameNode
4240 NameNode
11332 Jps

DataNode、NameNode 和 SecondaryNameNode 这三个进程必须存在,缺一不可。

PS. 如果 DataNode 无法正常启动,则可以删除所有 tmp 文件

$ cd /usr/local/hadoop-2.6.4/sbin
$ ./stop-dfs.sh #关闭
$ cd /usr/local/hadoop #具体路径查看 core-site.xml 配置文件
$ rm -rf tmp
$ cd /usr/local/hadoop-data #具体路径查看 hdfs-site.xml 配置文件
$ rm -rf tmp

3. 运行 hadoop 的实例,进行开发测试

$ cd /usr/local/hadoop-2.6.4/bin

#在hdfs上创建一个hadoop实例读取日志文本的目录
$ ./hdfs dfs -mkdir -p /user/hadoop/input

#将本地的日志文件上传至hdfs的/user/hadoop/input/目录中
$ ./hdfs dfs -put /home/guonan/user-behave.log /user/hadoop/input/

#查看hdfs中/user/hadoop/input/目下的文件
$ ./hdfs dfs -ls /user/hadoop/input/

#运行hadoop执行实例的命令
#如果重新执行该命令,则必须先删除/user/hadoop/output/该目录
#使用 ./hdfs dfs -rm -r /user/hadoop/output 删除
$ ./hadoop jar /home/guonan/user-behave-1.0.jar /user/hadoop/input/user-behave.log /user/hadoop/output/

#查看执行结果
$ ./hdfs dfs -cat /user/hadoop/output/*

 

© 著作权归作者所有

一瞳孔
粉丝 1
博文 7
码字总数 4534
作品 0
西城
程序员
私信 提问
hadoop:伪分布模式启动步骤分解! - 知乎

1、格式化HDFS 在运行伪分布式前,需先对NameNode进行格式化,在命令行中输入 若出现successfully formatted字样,则说明格式化成功 2、启动hadoop 然后启动hadoop集群 或使用以下命令单独启...

大数据分析·人工智能
05/27
0
0
阿里云服务器上装Hadoop的心得(内附Hadoop2.9.2详细安装教程)

  以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的,所以遇到的问题不多,自己没怎么思考,导致跟着官网再装了一个Hadoop-2.9.2(为了装Hbase2.2.0)时装了两天,现在把遇到过的问题记下...

osc_dmzfpa0c
2019/10/01
1
0
大数据-01-安装Hadoop

环境 服务器:ubuntu-16.04.3-desktop-amd64.iso 创建hadoop用户 本文中会大量使用到sudo命令。sudo是ubuntu中一种权限管理机制,管理员可以授权给一些普通用户去执行一些需要root权限执行的...

osc_w5iew3dd
2018/04/15
2
0
hadoop 的安装配置教程

Hadoop安装配置简略教程 http://www.powerxing.com/install-hadoop-simplify/ Hadoop安装教程_单机/伪分布式配置 http://www.powerxing.com/install-hadoop/ Hadoop集群安装配置教程 http:/......

haopeng
2015/12/10
68
0
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0 网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即...

osc_zy2cp8tz
2019/02/25
2
0

没有更多内容

加载失败,请刷新页面

加载更多

检查键是否存在于JavaScript对象中? - Checking if a key exists in a JavaScript object?

问题: How do I check if a particular key exists in a JavaScript object or array? 如何检查JavaScript对象或数组中是否存在特定键? If a key doesn't exist, and I try to access it, ......

fyin1314
38分钟前
21
0
jasypt-spring-boot提示Failed to bind properties

1 问题描述 在Spring Boot中使用jasypt-spring-boot进行加密,但是提示: Description:Failed to bind properties under 'spring.datasource.password' to java.lang.String: Reason:......

氷泠
今天
29
0
在git 2.13之前,只保存多个已更改的文件中的一个文件

问题: 如何在我的分支上只隐藏多个已更改文件中的一个? 解决方案: 参考一: https://stackoom.com/question/Cl3h/在git-之前-只保存多个已更改的文件中的一个文件 参考二: https://oldb...

技术盛宴
今天
30
0
SQL笔记:把Excel的数据导入MySQL中作运算

很多Excel用户都知道,Excel单个工作簿单张表存储的数据量很有限(旧版本月60多万条记录,新版本也才104万条不到),而且Excel中,因为自带各种格式与公式,兼之高度封装性等原因,导致Excel...

tengyulong
今天
15
0
Qt创建Application的文件依赖浅析

在使用QtCreator创建Application程序时,会自动创建***.ui文件,在文件夹“build-***-Desktop_Qt_***-Debug”中生成ui_***.h,***.ui可以通过QtDesigner进行调整,同时还会在***.ui的文件夹内...

qwz185_堡垒
今天
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部