缘起：公司08年以前的老项目，跟着迭代了一个版本，架构太老自己干着也受气。于是提议升级为SpringBoot 这种新的能好受一点。但是老接口太多，老接口是通过自定义实现的Servlet，按照扫描Bea...

Hive从1.2.2升级到2.3.6 很久没有关注Hive了，竟然最新版本都 3.x，看看自己笔记本上的还是1.2.2。 准备到2.x的最新版本。首先在apache网站下载 hive-2.3.6 解压，把原有的 hive 配置文件 co...

Quartz 是常用的Java多线程调度框架。我们在使用 Quartz 配置任务时，在quartz.properties 会配置如下内容： org.quartz.jobStore.dataSource:myQuartzDB org.quartz.jobStore.isClustered ...

看到 Python 大神到处炫的 ipynb 文件，下载到手上不知所措，今天终于发现了这个 Python 学习牛哄哄的工具：IPython Notebook是Web based IPython封装,可以展现富文本,使得整个工作可以以笔记...

Tez 安装件上一篇文章： https://my.oschina.net/zhzhenqin/blog/781670 Tez On Yarn 安装成功后，是为了给 Hive 或者 Pig 提供执行引擎。 安装 Pig 下载地址： http://apache.fayea.com/pi...

本文讨论 Hive explode 关键字使用, 并使用一个简单案例来验证结果. explode 是 Hive 有效的行转列关键字实现, 不同于传统数据库, 属于 HQL 特有方言....

写文档一直是程序员非常讨厌的工作, 甚至和改需求一样令人厌烦. 在程序员眼里比写程序还难, 即便强制执行下来文档质量也很难让人满意.

Storm 提供很多有用的数据分组实现，但是有时又不完全适应我们，Storm支持自定义分组实现，那么如何编写一个自己的实现。？本篇Blog将为读者从源发分析Storm的数据分组实现，并和Hadoop Part...

复杂的消息流处理往往需要很多步骤， 从而也就需要经过很多Bolts。经过多个Blot之间Storm会用不同的方式分组数据，下面的文章分别解释不同的分组策略和重点介绍的fieldsGrouping。...

本篇Blog是一个简单的Storm入门例子，提供一个简答Storm运行例子，目的让读者明白Storm是怎样的运行机制，适合做什么。

##Python Protobuf模块安装 在[text][https://pypi.python.org/pypi]下载protobuf-2.5.0.tar.gz. 注意,该<code>protobuf-2.5.0.tar.gz</code>和上一节下载的文件名相同,但内容不一样. 上一节...

##protoc安装 下载Protobuf [Protobuf][https://code.google.com/p/protobuf/] 我下载的是Protobuf 2.5.0版本. 如果是Windows系统,可直接下载win32, 解压出protoc.exe到任意目录.Linux系统下...

##开始 Avro是Apache的Hadoop家族的项目之一。具有性能高、基本代码少和产出数据量精简等特点。不过这是他们宣传广告，我最近也分别研究了Avro和Protobuf。基本的测试代码，不吐不快。 ##安装...

前面两篇介绍了Pig的工作以及简单的程序逻辑，从这篇开始，不再只是统计词频这样的例子了。我会相对的举出一些特殊场景加以说明。 需要说的是我也是一个Pig初学者，之前学习了一些Hadoop，在...