加载中
zeppelin hive查询慢问题记录

#简介 zeppelin默认查询hive数据时会先获取hive的元数据,但是当元数据比较多时获取速度慢。我们的机器上show tables 会有3min中的延迟。 问题跟踪思路 执行show tables 查看zeppelin日志 从...

2017/05/19 19:38
193
hbase使用

[toc] Hbase 常用shell操作 list #查看default中的表 list # 查看命名空间 list_namespace #查看命名空间表 list_namespace_tables 'hbase' create #创建...

2017/05/15 11:59
513
hadoop 远程调度总结

简介 通过前几篇博客,深入了解了hadoop rpc调度的一些流程,但是那些都太细节了,没有一个整体的架构情况。知识比较零散,需要一次系统整理和总结。下边是我自己整理的情况,肯定有很多不足...

2017/05/08 10:18
36
hadoop 远程调度(四)

简介 继续上一篇博客远程调度(三)来介绍hadoop远程调度过程。上一篇主要写rpc 服务端启动,和接受到客户端请求,处理请求,及把请求封装成一个call对象。接下来介绍怎么执行客户端请求,和...

2017/05/05 11:01
33
hadoop 远程调度(三)

简介 前几篇博客介绍了NIO和hadoop rpc的主要流程。本文主要介绍hadoop rpc server端接受到请求怎么处理,怎样返回。 rpc 服务端提供服务的大致流程 rpc server端在接受到客户端请求后,会解...

2017/05/04 11:40
33
hadoop 远程调度(二)

hadoop 远程调度(二) [toc] 远程调度例子 //定义接口 public interface ClientProtocol extends org.apache.hadoop.ipc.VersionedProtocol{ long versionID = 123456; String ech...

2017/05/03 09:39
340
hadoop远程过程调度(1)

#hadoop远程过程调度(1) [toc] RPC基础知识 rpc 原理 rpc就是允许程序调度位于其他机器上的过程。 大致调度步骤: client通过动态代理获取接口对象 client调用接口的实例对象的方法 通过s...

2017/05/03 09:37
42
hadoop 压缩框架

hadoop 压缩框架 [toc] hadoop 常见的压缩 | 格式 | split | native |压缩率 |速度 | 是否hadoop自带 |linux命令 | 换成压缩格式后,原来的应用程序是否要修改 | | :-------- | :--------:| ...

2017/05/03 09:21
38
hadoop 序列化框架

hadoop 序列化框架 [toc] 序列化,反序列化 序列化: 按照一定格式把一个对象编码成一个字节流,可以存储在硬盘,可以在网络中传递,可以拷贝,克隆 等, 反序列化: 把存入字节流的对象,解...

2017/05/03 09:20
54
hadoop 配置文件处理

hadoop 配置文件处理 [toc] Configuration 类 Configuration 作用 1.加载配置文件 2.可以加载多个配置文件 3.支持动态修改配置 4.快速保存配置文件 构造方法 public Configuration(); ...

2017/05/03 09:18
37
Hive 源码编译和调试

Hive 源码编译和调试 编译 下载hive源码,解压后,跳转源码目录执行命令 : ** mvn clean compile -Phadoop-2 -DskipTests ** 编译完成后导入eclipse 或idea中 hive调试 命令 : hive --deb...

2017/04/28 11:03
72
hive MapRedTask 调度分析

承接上一篇博客:hive Derver类源码解析 本文介绍最常用的mapred任务调度过程。作为个人的学习笔记,没有很好的描述博客,大家将就着看吧,如果有什么问题欢迎留言交流。 上篇博客中 driver...

2017/04/28 10:20
20
hive Derver类源码解析

接上一篇博客hive 命令行提交sql 执行过程继续写很烂的文章,如果有意见请在下方留言。 Driver类主要编译sql,处理执行前,执行后的钩子函数, 运行执行计划 下边详细解析driver的几个方法 ...

2017/04/27 17:53
44
hive 命令行提交sql 执行过程

承接上一篇文档:hive cli 启动 本文继续说查看hive源码,分析hive sql 执行过程。但不会详细解析sql 编译过程,因为我也不懂,还没看到😭。 processLine方法 //line : 要执行的命令 。 ...

2017/04/27 15:46
109
hive cli启动

hive Cli 启动 [toc] CliDriver 作用: 执行命令:hive时 实际上运行的类是org.apache.hadoop.hive.cli.CliDriver.java 。 入口 public static void main(String[] args) throws Except...

2017/04/27 11:30
42

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部