加载中
Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认参数,也可以在提交应用...

2017/05/04 20:19
52
InputFormat到key-value生成流程,reduce写出数据流程

InputFormat到key-value生成流程

2015/09/01 21:06
53
hadoop学习笔记

hadoop

2015/01/05 19:40
206
Hadoop jobhistory历史服务器

Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,...

2017/06/03 12:02
7
hadoop yarn jobhistoryserver 配置

hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory...

2017/06/03 12:02
225
yarn队列设置

理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负...

2017/05/21 20:42
507
yarn & mapreduce 配置参数总结

http://blog.csdn.net/stark_summer/article/details/48494391

2017/05/03 13:46
24
hadoop metrics 各参数解释

研究使用Hadoop的人 对hadoop中详细的计数器有所了解,但是很多人在想完全清楚所有metrics时 发愁找不到资料。而且在代码中查找时介绍也比较少。先罗列出所有。 dfs.datanode.blockChecksum...

2017/03/31 09:13
19
hadoop登录认证及kerberos认证存在的问题(缺点)

问题导读 1.hadoop简单模式如何认证? 2.kerberos认证存在什么问题? 1.简单模式   这种模式,配置简单,使用简单。   core-site.xml添加 <property> <name>hadoop.security.authorizati...

2017/03/27 11:43
231
四十六、利用yarn多队列实现hadoop资源隔离

大数据处理离不开Hadoop集群的部署和管理,对于本来硬件资源就不多的创业团队来说,做好资源的共享和隔离是很有必要的,毕竟不像BAT那么豪,那么怎么样能把有限的节点同时分享给多组用户使用...

2017/03/27 10:42
33
apache2.7.2-hdfs-ha-yarn-ha

hadoop-daemon.sh start journalnode hdfs zkfc -formatZK 只需要做一次即可 hadoop namenode -format 只需要做一次即可 hadoop-daemon.sh start namenode active节点 hdfs namenod...

2017/03/17 15:55
6
hadoop distcp使用

概述 distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会...

2017/03/17 11:54
17
hadoop入门之设置datanode的心跳时间的方法

做作业的过程中发现,把一节点停掉,dfsadmin和50070都无法马上感知到一个data node已经死掉 HDFS默认的超时时间为10分钟+30秒。 这里暂且定义超时时间为timeout 计算公式为: timeout = 2 ...

2017/02/20 13:48
89
关于hadoop与jstl冲突的jar包

刚开始使用spring去写一个关于hdfs的web项目,使用EL表达式时报如下错误: org.apache.jasper.JasperException: Unable to compile class for JSP: An error occurred at line: 20 in the...

2016/12/22 15:00
89
yarn 根据applicationId查看日志

前提需要yarn开通日志聚合设置 cd /usr/lib/hadoop-yarn/bin yarn logs -applicationId application_1436784252938_0022...

2016/12/03 15:42
243
查看spark on yarn的日志和程序状态的方法

一、在命令行使用命令查看 (1)查看日志:yarn logs -applicationIdapplication_1469094096026_26612 (2)查看状态:yarn applicaiton -status application_1469094096026_26612 红色字体代表a...

2016/12/03 15:41
113
Hadoop之SequenceFile 详解

Hadoop之SequenceFile 详解

2016/07/06 15:16
54
SequenceFile介绍(转)

SequenceFile介绍(转)

2016/07/06 15:14
44
如何在hadoop中控制map的个数

如何在hadoop中控制map的个数

2016/07/05 17:54
14
Hadoop新版本中map任务待处理split大小的计算方法

Hadoop新版本中map任务待处理split大小的计算方法

2016/07/05 15:16
39

没有更多内容

加载失败,请刷新页面

返回顶部
顶部