1
2
3
4
5
6
7
连击 天
fork: star:
加载中
原
荐
HBase中Scan类属性maxResultSize的说明
有同学希望调用Scan.setMaxResultSize(long)这个方法来设置scan扫描后返回的条数，目前我的理解，这个属性能到一定的限制作用，但是很多时候不会向你想的那样其作用，下面我来进行一些说明。...
原
解决问题Login failure for nn/admin@psy.com from keytab
在做hadoop和Kerberos结合的时候，遇到这么一个问题“java.io.IOException: Login failure for hadoop/admin@psy.com from keytab /hadoop-data/etc/hadoop/hadoop.keytab”详细的异常信息最...
原
yarn调优-提升并发应用数
架构：yarn+hive 问题：yarn中使用capacity scheduler做任务调度，创建了三个队列分别为不同的场景提供服务。后来发现一个问题，在集群资源充裕的情况下，yarn中的并发applicaiton都特别少，...
原
Hive使用经验-分区字段使用函数查询时分区无效
环境：FusionInsight-Hive-1.1.0 现象：这段时间项目中新开了一些sql，在执行这些sql的时候，集群的CPU使用率平均达到90%，导致集群基本处于停摆状态，其他的sql却能正常执行。 排查：单独执...
原
为hdfs配置kerberos
1 概述 默认情况下hadoop中hdfs和mapreduce运行在一种不安全的环境中，引用《hadoop权威指南》中的一段话：“从安全角度分析，Hadoop缺乏一个安全打的认证机制，以确保试图在集群上执行操作的...
原
hdfs中ReflectionUtils在实例化ObjectWritable内部类NullIn...
hadoop版本：1.0.3 问题描述： 在研究DataNode启动代码的时候遇到这么一个问题，通过Hadoop工具类ReflectionUtils反射生成NullInstance实例时，NullInstance父类Configured的成员变量conf未正...
关于HFile的存储结构梳理以及快速定位rowkey
一、HFile结构介绍 为了支持数据的随机查询，HFile结构分为六个部分： 1、数据块–保存表中的数据，每一个数据块由块头和一些keyValue(record)组成，key的值是严格按照顺序存储的。块大小默认...
事件驱动和状态机模式在YARN中的使用
阅读了下YARN的源码，架构中设计模式除了服务生命周期管理模式外，还包括事件驱动和状态机模式。生命周期管理模式在容器设计时候比较常见，包括资源模型的加载，卸载等等，比如tomcat、jboss...
原
hadoop rpc客户端初始化和调用过程详解
本文主要记录hadoop rpc的客户端部分的初始化和调用的过程，下面的介绍中主要通过DFSClient来说明，为什么用DFSClient呢？DFSClient作为namenode的客户端，通过rpc来操作hdfs。限于篇幅，本文...
转载：hdfs租约处理
HDFS分析(四) 在HDFS中可能同时有多个客户端在同一时刻写文件，如果不进行控制的话，有可能多个客户端会并发的写一个文件，所以需要进行控制，一般的想法是用一个互斥锁，在某一时刻只有一个...
原
eclipse中java程序不能访问hdfs文件系统，报：Connection Refused
现象：用伪分布方式启动hadoop之后，eclipse上面的java程序不能访问hdfs文件系统，报：Connection Refused 分析： hadoop服务器和client代码不再同一台机上，在client机上telnet 192.168.22...
Yarn设计原理分析之NodeManager
1、 和其他模块之间的交互接口分析 1)作为client，NodeStatusUpdater通过ResourceTracker协议和RM进行交互。 该API有两个方法 向RM注册NodeManager，参数为httpPort、nodeId、totalResource...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复