文档章节

hadoop实践(三) 把wordcount程序跑起来

晨辰46
 晨辰46
发布于 2017/05/20 20:49
字数 134
阅读 17
收藏 0

1、创建文件file1、file2

mkdir /home/peter/file cd /home/peter/file
echo Hello Word > file1.txt echo Hello Hadoop > file2.txt

2、拷贝文件到hdfs

hadoop fs -put /home/peter/file/file*.txt /input

3、执行wordcount示例程序

hadoop jar /home/peter/bigdata/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input output

4、查看执行结果

hadoop fs -ls /user/peter/output
-rw-r--r--   3 peter supergroup          0 2017-05-20 18:59 /user/peter/output/_SUCCESS -rw-r--r--   3 peter supergroup         24 2017-05-20 18:59 /user/peter/output/part-r-00000
hadoop fs -cat /user/peter/output/part-r-00000
Hadoop    1 Hello 2 Word 1

© 著作权归作者所有

晨辰46
粉丝 0
博文 7
码字总数 1155
作品 0
兰州
私信 提问
eclipse中运行wordcount任务后在hadoop监控页面没有显示该job

问题描述: eclipse中运行wordcount任务后在hadoop监控页面没有显示该job,并且查看集群资源的使用情况,集群计算节点cpu和内存基本没用,而装有eclipse的电脑cpu和内存使用量却达到了100%,...

闵开慧
2014/04/28
1K
2
大话大数据(一)

大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化、非结构化文本、日志、视频、图片、地理位置等; 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖...

提广乾
2016/11/25
42
0
eclipse 本地连接hadoop 进行开发

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的 1. eclipse 安装hadoop 插件 首先, 下载hadoop 的eclipse插件 一个jar包 下载链接是这里...

KongFanhao
2016/06/02
87
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
187
0
初学大数据,一定要知道这些

经常有初学者问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。。。。。。。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以...

铁扇公主1
2017/03/22
375
1

没有更多内容

加载失败,请刷新页面

加载更多

如何编写高质量的 JS 函数(1) -- 敲山震虎篇

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/7lCK9cHmunvYlbm7Xi7JxQ 作者:杨昆 一千个读者,有一千个哈姆雷特。 此系列文章将会从函数的执行机制、鲁棒性、函...

vivo互联网技术
38分钟前
5
0
学会这5个Excel技巧,让你拒绝加班

在网上,随处都可以看到Excel技巧,估计已看腻了吧?但下面5个Excel技巧会让你相见恨晚。关键的是它们个个还很实用 图一 技巧1:快速删除边框 有时当我们处理数据需要去掉边框,按Ctrl+Shif...

干货趣分享
今天
11
0
JS基础-该如何理解原型、原型链?

JS的原型、原型链一直是比较难理解的内容,不少初学者甚至有一定经验的老鸟都不一定能完全说清楚,更多的"很可能"是一知半解,而这部分内容又是JS的核心内容,想要技术进阶的话肯定不能对这个...

OBKoro1
今天
9
0
高防CDN的出现是为了解决网站的哪些问题?

高防CDN是为了更好的服务网络而出现的,是通过高防DNS来实现的。高防CDN是通过智能化的系统判断来路,再反馈给用户,可以减轻用户使用过程的复杂程度。通过智能DNS解析,能让网站访问者连接到...

云漫网络Ruan
今天
15
0
OSChina 周一乱弹 —— 熟悉的味道,难道这就是恋爱的感觉

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @xiaoshiyue :好久没分享歌了分享张碧晨的单曲《今后我与自己流浪》 《今后我与自己流浪》- 张碧晨 手机党少年们想听歌,请使劲儿戳(这里)...

小小编辑
今天
3.3K
25

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部