文档章节

Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

jayronwang
 jayronwang
发布于 2015/03/30 22:31
字数 225
阅读 15
收藏 0

测试HDFS

上传文件到hdfs hadoop分布式文件系统

hadoop fs -put /opt/jdk.gz hdfs://master:9000/jdk

 

5/22/2017------------------------

17/05/21 22:55:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: Cannot create file/jdk._COPYING_. Name node is in safe mode.
忽略第一行错误,看第二行,是由于系统空间不足

df -hl命令查看系统空间使用情况

删除一些文件后,正常执行上传文件

5/22/2017------------------------

 

下载到linux文件系统

hadoop fs -get hdfs://master:9000/jdk /opt/jdk2

 

查看文件列表

hadoop fs -ls

 

例子-wordcount

上传包含各种单词的word文件到hdfs,然后执行以下命令,可以得到结果文件word-out

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://master:9000/word  hdfs://master:9000/word-out

默认在hdfs文件系统底下,所以也可以简写成以下

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /word  word-out-2

 

© 著作权归作者所有

jayronwang
粉丝 15
博文 105
码字总数 20353
作品 0
厦门
私信 提问
Bash Shell环境下编译打包MapReduce程序

摘自MapReduce Tutorial. 本文主要内容是在Linux Bash环境下进行Hadoop MapReduce的程序编译及打包。 某些生产环境,存在多层安全加固,导致将IDE中jar包上传至服务器是一件费事费力的事情,...

Yulong_
2016/08/31
40
0
MapReduce 计数器简介

1、计数器简介 在许多情况下,一个用户需要了解待分析的数据,尽管这并非所要执行的分析任务 的核心内容。以统计数据集中无效记录数目的任务为例,如果发现无效记录的比例 相当高,那么就需要...

大数据之路
2014/06/09
2.7K
3
hadoop streaming -archives 解压jar、zip、tar.gz的验证

1、archives作用描述: Hadoop中DistributedCache方法之一(其他参考文章后面的参考文章) ,作用是 将指定文件分发到各个Task的工作目录下,并对名称后缀为“.jar”、“.zip”,“.tar.gz”...

王二铁
2015/07/03
3.8K
0
Hadoop2.X的安装与配置(二)本地模式

在上一篇文章中,我们介绍了Hadoop2.X安装与配置前的准备阶段。 在本地模式配置前,首先完成准备阶段。 点击如下链接,进入准备阶段的配置 https://blog.csdn.net/weixin38187469/article/d...

weixin_38187469
2018/04/16
0
0
Linux下安装配置Hadoop2.7.6

前提 安装jdk 下载 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 解压 配置 vim /etc/profile # 配置java环境变量 export JAVAHOME=/opt/jdk1.......

晨猫
2018/06/19
57
0

没有更多内容

加载失败,请刷新页面

加载更多

shangcheng-my

1.数据库主键、外键类型为bigint,那么在后台应该用什么类型的变量定义? 后台用string接收,因为前段传过来的一般都是json字符串,后台直接接收,mysql是可以吧数字类型的字符串转换为对应的...

榴莲黑芝麻糊
昨天
2
0
微服务架构依赖图

基于spring-cloud-alibaba + dubbo

龙影
昨天
5
0
Centos7 安装zabbix-agent

rpm -i https://repo.zabbix.com/zabbix/4.2/rhel/6/x86_64/zabbix-release-4.2-2.el6.noarch.rpm 可以到https://repo.zabbix.com/zabbix找到对应的版本 yum install zabbix-agent -y 出现E......

abowu
昨天
8
0
文本编辑器GNU nano 4.4 发布

GNU nano 4.4 "Hagelslag" 更新日志: 启动时,光标可以放在第一个或最后一个出现位置 字符串前面带有+/string 或 +?string的字符串。 发生自动硬包装时((--breaklonglines),任何前导引号...

linuxCool
昨天
7
0
你知道字节序吗

字节序 最近在调一个自定义报文的接口时,本来以为挺简单的,发现踩了好几个坑,其中一个比较“刻骨铭心”的问题就是数据的字节序问题。 背景 自定义报文,调用接口,服务端报文解析失败 iO...

杭城小刘
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部