Presto 连接器 hive-hadoop2 Hive 支持从 1.2.2 升级到2.3.6 Presto Plugins 中默认的 hive-hadoop2 组件版本为 1.2.2，而我的hive MetaStore 已经升级到 2.3.6，因此需要对 hive plugin 做一...

Hive从1.2.2升级到2.3.6 很久没有关注Hive了，竟然最新版本都 3.x，看看自己笔记本上的还是1.2.2。 准备到2.x的最新版本。首先在apache网站下载 hive-2.3.6 解压，把原有的 hive 配置文件 co...

Quartz 是常用的Java多线程调度框架。我们在使用 Quartz 配置任务时，在quartz.properties 会配置如下内容： org.quartz.jobStore.dataSource:myQuartzDB org.quartz.jobStore.isClustered ...

看到 Python 大神到处炫的 ipynb 文件，下载到手上不知所措，今天终于发现了这个 Python 学习牛哄哄的工具：IPython Notebook是Web based IPython封装,可以展现富文本,使得整个工作可以以笔记...

Tez 安装件上一篇文章： https://my.oschina.net/zhzhenqin/blog/781670 Tez On Yarn 安装成功后，是为了给 Hive 或者 Pig 提供执行引擎。 安装 Pig 下载地址： http://apache.fayea.com/pi...

无意中接触 Tez，经过测试， Hive On Tez 的执行效率高于 MR 数倍。此文主要提供给 Hive 用户另一种提高 HQL 执行效率的方法。

偶然机会接触到 Tez，发现 Hive 使用 Tez 引擎性能比 MapReduce 好很多，因此测试了 Hive，Pig 等对 Tez 的支持。此文后续会介绍 Hive，Pig 等使用 Tez 引擎执行，性能会比传统的 MapReduce ...

本文讨论 Hive explode 关键字使用, 并使用一个简单案例来验证结果. explode 是 Hive 有效的行转列关键字实现, 不同于传统数据库, 属于 HQL 特有方言....

写文档一直是程序员非常讨厌的工作, 甚至和改需求一样令人厌烦. 在程序员眼里比写程序还难, 即便强制执行下来文档质量也很难让人满意.

Storm 提供很多有用的数据分组实现，但是有时又不完全适应我们，Storm支持自定义分组实现，那么如何编写一个自己的实现。？本篇Blog将为读者从源发分析Storm的数据分组实现，并和Hadoop Part...

复杂的消息流处理往往需要很多步骤， 从而也就需要经过很多Bolts。经过多个Blot之间Storm会用不同的方式分组数据，下面的文章分别解释不同的分组策略和重点介绍的fieldsGrouping。...

本篇Blog是一个简单的Storm入门例子，提供一个简答Storm运行例子，目的让读者明白Storm是怎样的运行机制，适合做什么。

提供Hadoop 2.2.0 64位本地库编译

##一个最基本的Hadoo任务 WordCountMapper: <pre class="prettyprint lang-java"> private final static IntWritable one = new IntWritable(1); @Override public void map(LongWritable k...

##Python Protobuf模块安装 在[text][https://pypi.python.org/pypi]下载protobuf-2.5.0.tar.gz. 注意,该<code>protobuf-2.5.0.tar.gz</code>和上一节下载的文件名相同,但内容不一样. 上一节...

##protoc安装 下载Protobuf [Protobuf][https://code.google.com/p/protobuf/] 我下载的是Protobuf 2.5.0版本. 如果是Windows系统,可直接下载win32, 解压出protoc.exe到任意目录.Linux系统下...

##开始 Avro是Apache的Hadoop家族的项目之一。具有性能高、基本代码少和产出数据量精简等特点。不过这是他们宣传广告，我最近也分别研究了Avro和Protobuf。基本的测试代码，不吐不快。 ##安装...

前面两篇介绍了Pig的工作以及简单的程序逻辑，从这篇开始，不再只是统计词频这样的例子了。我会相对的举出一些特殊场景加以说明。 需要说的是我也是一个Pig初学者，之前学习了一些Hadoop，在...

最近做公司后台的关于数据同步的功能, 考虑到同步的速度和可控性,再者在自己的项目中已经打开了ServerSocket.因此决定自己编写Socket,两边进行数据同步. 因为写一个通信协议是不容易的事,我也...

上一篇博客主要讲解了Pig的安装和一个试手的例子，下面说一下Pig的数据模型。 Pig的数据模型基本分为2大类，基本类型，和复杂类型。基本类型只能包含一个简单的数值，复杂类型可以包含其他所...