文档章节

intellij idea hadoop mapreduce 开发调试

zhangdengpan
 zhangdengpan
发布于 2014/12/16 14:03
字数 184
阅读 14550
收藏 11

在idea中的hadoop程序开发(MAC或Linux)

  1. hadoop的安装(自己查)

  2. 新建一个java project

    3.配置项目结构与依赖(project structure)

4.配置构件(artifacts):名称(name),类型(Type),构件时重新编译打包(Build on make),输出目录(Output directory),输出规划(Output Layout),选择当前模块的输出构件

5.编写代码(WordCount.java)

6.配置调试运行方式

7.新建一个运行配置Application


8.配置运行参数:main函数为RunJar,运行参数为(①wordcount.jar构件的的jar包,②主类,③参数一:输入,④参数二:输出),保存,OK。

9.用debug运行配置的application,打上断点,进行调试

10,完成


© 著作权归作者所有

共有 人打赏支持
zhangdengpan
粉丝 3
博文 4
码字总数 441
作品 0
高级程序员
私信 提问
加载中

评论(4)

minty
minty

引用来自“错觉”的评论

连接哪个hadoop, ip地址是啥都不说怎么配置, lz也够2的居然能出来呵呵
他这是wordcount,直接引入jar包就可以跑了。
w
william7neral
不详细,感觉是写给自己的笔记,并不是给人看的
错觉
错觉
连接哪个hadoop, ip地址是啥都不说怎么配置, lz也够2的居然能出来呵呵
draculavlad
draculavlad
如果注明出处,我可以转载到我的github上面吗?
Hadoop MapReducer运行问题

各位,请教一个问题,在本地IDEA编写了MapReduce,然后本地测试没有问题Mapper,Reducer全部执行,没有问题,然后我用Maven使用package打包,放到服务器(Master)上,执行hadoop jar XX.jar ,...

Danger
2017/02/16
590
5
IntellJ IDEA Maven编写Hadoop程序

因为现在大部分Hadoop教程都是介绍Eclipse的,而且是手动加载.jar的。 所以把maven在Idea的写法记录一下。因为我现在用的是2.7.6的Hadoop.首先POM如下 <?xml version="1.0" encoding="UTF-8"......

算法之名
2018/05/09
0
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
0
0
2014-11-12--Hadoop的基础学习(三)--Hadoop中MapReduce框架入门

1.MapReduce的简单概念 百度百科:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和他们的主要思想,都是从函数式编程语言里借来的...

查封炉台
2014/11/16
0
8

没有更多内容

加载失败,请刷新页面

加载更多

单元测试

右键方法 Go To --> Test,简便快速生成测试方法。 相关注解 @RunWith(SpringRunner.class) 表示要在测试环境中跑,底层实现是 jUnit测试工具。 @SpringBootTest 表示启动整个 Spring工程 @A...

imbiao
昨天
0
0
欧拉公式

欧拉公式表达式 欧拉公式的几何意 cosθ + j sinθ 是个复数,实数部分也就是实部为 cosθ ,虚数部分也就是虚部为 j sinθ ,对应复平面单位圆上的一个点。 根据欧拉公式和这个点可以用 复指...

sharelocked
昨天
2
0
burpsuite无法抓取https数据包

1.将浏览器和burpsuite的代理都设置好 2.在浏览器地址栏输入: http://burp 3.下载下面的证书,并将证书导入浏览器 cacert.der

Frost729
昨天
2
0
JeeSite4.x 消息管理、消息推送、消息提醒

实现统一的消息推送接口,包含PC消息、短信消息、邮件消息、微信消息等,无需让所有开发者了解消息是怎么发送出去的,只需了解消息发送接口即可。 所有推送消息均通过 MsgPushUtils 工具类发...

ThinkGem
昨天
8
0
OpenML

https://www.openml.org/search?type=data

shengjuntu
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部