加载中
Swagger扩展开发-任意架构实现Swagger Doc注册

缘起:公司08年以前的老项目,跟着迭代了一个版本,架构太老自己干着也受气。于是提议升级为SpringBoot 这种新的能好受一点。但是老接口太多,老接口是通过自定义实现的Servlet,按照扫描Bea...

FastJSON和Jersey AutoDiscoverable冲突解决

在测试 hugegraph 时,按照官方默认的Example Code 怎么都调用不通过,Debug 发现HTTPClient 发送的 PropertyKey 序列化 JSON 的时候无字段。 说明:我的工程是实际项目中的,有大量的依赖无...

Presto hive-hadoop2 Connector 把 Hive支持 1.2.2 升级到2.3.6

Presto 连接器 hive-hadoop2 Hive 支持从 1.2.2 升级到2.3.6 Presto Plugins 中默认的 hive-hadoop2 组件版本为 1.2.2,而我的hive MetaStore 已经升级到 2.3.6,因此需要对 hive plugin 做一...

2020/04/23 14:56
681
升级Hive,从1.2.2升级到2.3.6

Hive从1.2.2升级到2.3.6 很久没有关注Hive了,竟然最新版本都 3.x,看看自己笔记本上的还是1.2.2。 准备到2.x的最新版本。首先在apache网站下载 hive-2.3.6 解压,把原有的 hive 配置文件 co...

2020/04/07 21:27
2.9K
Quartz 采用共享数据源的实现方法

Quartz 是常用的Java多线程调度框架。我们在使用 Quartz 配置任务时,在quartz.properties 会配置如下内容: org.quartz.jobStore.dataSource:myQuartzDB org.quartz.jobStore.isClustered ...

2020/04/07 15:44
1.3K
iPython Notebook安装和初体验

看到 Python 大神到处炫的 ipynb 文件,下载到手上不知所措,今天终于发现了这个 Python 学习牛哄哄的工具:IPython Notebook是Web based IPython封装,可以展现富文本,使得整个工作可以以笔记...

2017/03/02 17:31
740
Pig On Tez, Pig 换 Tez 执行引擎

Tez 安装件上一篇文章: https://my.oschina.net/zhzhenqin/blog/781670 Tez On Yarn 安装成功后,是为了给 Hive 或者 Pig 提供执行引擎。 安装 Pig 下载地址: http://apache.fayea.com/pi...

2016/11/21 13:13
1.2K
Hive On Tez,Tez 和 MapReduce engine 性能对比

无意中接触 Tez,经过测试, Hive On Tez 的执行效率高于 MR 数倍。此文主要提供给 Hive 用户另一种提高 HQL 执行效率的方法。

2016/11/04 15:41
1.8W
Apache Tez 安装, Tez On Yarn

偶然机会接触到 Tez,发现 Hive 使用 Tez 引擎性能比 MapReduce 好很多,因此测试了 Hive,Pig 等对 Tez 的支持。此文后续会介绍 Hive,Pig 等使用 Tez 引擎执行,性能会比传统的 MapReduce ...

2016/11/04 13:48
4.4K
Hive-explode[列转行]关键字使用

本文讨论 Hive explode 关键字使用, 并使用一个简单案例来验证结果. explode 是 Hive 有效的行转列关键字实现, 不同于传统数据库, 属于 HQL 特有方言....

2016/01/14 18:06
1.7W
从 Word 到 Docbook, 最后用 Pandoc, 让程序员爱上写文档

写文档一直是程序员非常讨厌的工作, 甚至和改需求一样令人厌烦. 在程序员眼里比写程序还难, 即便强制执行下来文档质量也很难让人满意.

Twitter Storm Stream Grouping编写自定义分组实现

Storm 提供很多有用的数据分组实现,但是有时又不完全适应我们,Storm支持自定义分组实现,那么如何编写一个自己的实现。?本篇Blog将为读者从源发分析Storm的数据分组实现,并和Hadoop Part...

Twitter Storm, 数据流分组策略,fieldsGrouping

复杂的消息流处理往往需要很多步骤, 从而也就需要经过很多Bolts。经过多个Blot之间Storm会用不同的方式分组数据,下面的文章分别解释不同的分组策略和重点介绍的fieldsGrouping。...

2014/04/14 09:21
6.4K
Twitter Storm进阶初步,Storm能做什么

本篇Blog是一个简单的Storm入门例子,提供一个简答Storm运行例子,目的让读者明白Storm是怎样的运行机制,适合做什么。

Hadoop-2.2.0 Linux 64位系统本地库编译

提供Hadoop 2.2.0 64位本地库编译

2013/12/11 13:17
2.2K
Hadoop Job的提交,到底提交了什么?

##一个最基本的Hadoo任务 WordCountMapper: <pre class="prettyprint lang-java"> private final static IntWritable one = new IntWritable(1); @Override public void map(LongWritable k...

2013/09/22 19:30
1.4W
多语言跨平台序列化框架Google Protobuf-Python connect Netty

##Python Protobuf模块安装 在[text][https://pypi.python.org/pypi]下载protobuf-2.5.0.tar.gz. 注意,该<code>protobuf-2.5.0.tar.gz</code>和上一节下载的文件名相同,但内容不一样. 上一节...

2013/08/26 15:45
3.7K
多语言跨平台序列化框架Google Protobuf-with Netty

##protoc安装 下载Protobuf [Protobuf][https://code.google.com/p/protobuf/] 我下载的是Protobuf 2.5.0版本. 如果是Windows系统,可直接下载win32, 解压出protoc.exe到任意目录.Linux系统下...

2013/08/26 15:43
1.1W
多语言跨平台远程过程调用【Avro】

##开始 Avro是Apache的Hadoop家族的项目之一。具有性能高、基本代码少和产出数据量精简等特点。不过这是他们宣传广告,我最近也分别研究了Avro和Protobuf。基本的测试代码,不吐不快。 ##安装...

2013/08/07 20:48
1.3W
Pig的输入输出及foreach,group关系操作

前面两篇介绍了Pig的工作以及简单的程序逻辑,从这篇开始,不再只是统计词频这样的例子了。我会相对的举出一些特殊场景加以说明。 需要说的是我也是一个Pig初学者,之前学习了一些Hadoop,在...

2013/04/21 22:33
7.7K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部