文档章节

将交互式分析带入Azure HDInsight:Kyligence Analytics Platform启用次秒查询

创新先驱者
 创新先驱者
发布于 2017/08/12 14:44
字数 1484
阅读 10
收藏 0
点赞 0
评论 0

在资源密集型系统中,查询将竞争运行时资源,并且在工作负载高时需要几个小时才能返回。Hadoop上的SQL正在不断改进,但是通常需要等待几分钟甚至几个小时才能返回单个查询,尤其是当数据集很大时。这些系统中的大多数是资源密集型的,其中查询竞争运行时资源,而在工作负载高时,性能下降。

为了解决这个问题,Kyligence Analytics Platform(KAP)可以在海量数据集上实现交互式分析,并具有次秒查询延迟。KAP是由Apache Kylin提供支持的领先大数据智能平台。即使在大规模数据集上,它也能够实现次秒查询延迟的交互式分析,并被联想,中国移动等企业广泛采用。我们很高兴地宣布,Kyligence团队和Azure HDInsight团队已经紧密合作,将OLAP功能带入HDInsight,并且KAP现在可作为HDInsight应用程序在Azure HDInsight上使用。

HDInsight应用平台

Azure HDInsight是唯一全面管理的云Hadoop产品,为99.9%SLA支持的Spark,Hive,MapReduce,HBase,Storm,Kafka和R Server提供优化的开源分析集群。这些大数据技术和ISV应用程序都可以轻松部署为具有企业级安全性和监控功能的托管集群。

应用程序的开源生态系统已经增长,目的是使客户更容易构建其大数据和分析解决方案。今天,客户发现这些生产力应用程序很难发现,而且很难安装和配置应用程序。为了解决这一缺陷,HDInsight应用平台为Microsoft提供了一个独特的体验,ISV可以直接向客户提供应用程序,客户可以轻松发现,安装和使用为大数据生态系统构建的ISV应用程序。

作为这种集成的一部分,KAP可以通过一键点击HDInsight轻松部署。

互动分析与数字数据在HDInsight

Hadoop专为大规模数据处理而设计,但对于交互式分析来说并不足够。通过提供与HDInsight的以下集成,KAP可在HDInsight上提供交互式分析功能:

  • Hadoop和HDInsight上的本地SQL支持:许多现有的大数据分析技术都有自己的查询语言或针对分析场景进行优化的专有存储引擎。分析师难以学习新的查询语言,或将数据从HDFS / BLOB存储迁移到其他平台。使用KAP的本机SQL支持和ODBC驱动程序,客户可以使用标准SQL界面,并在其大量数据上选择自己喜欢的BI工具。
  • 次秒查询响应:查询性能是大多数大数据用例的瓶颈。如果原始数据增长10倍时,集群资源无法展开,则性能将下降。为了使二次查询响应一致是HDInsight上的交互式分析和KAP的关键,通过提供预先计算的多维数据集来解决这个问题。
  • 弹性体系结构:数据集的通常范围是千兆字节,太字节等。Hadoop为批量处理提供弹性基础设施,KAP作为交互式分析技术,还利用Hadoop的弹性功能实现横向扩展解决方案。
  • 与HDInsight的本土集成:云是采用新技术的轻松方式,而不用担心部署或监控。使用KAP + HDInsight作为全面管理的云解决方案,可帮助用户降低运营成本并实现高可用性。KAP可以与所有支持的Azure存储服务(Azure BLOB存储和Azure Data Lake Store)配合使用,并且还可以使用HDInsight Kafka集群来从卡夫卡摄取数据。

KAP - 由Apache Kylin提供的企业级数据仓库

KAP是由Apache Kylin提供的Hadoop上的企业OLAP ,可在PB级数据集上实现亚秒级SQL查询延迟,在互联网规模上提供高并发性,并使分析师能够在Hadoop上构建业务标准数据仓库和商业智能方法学BI。KAP是一个统一的分析平台,为业务用户,分析师和具有自助服务的工程师简化了Big Data Analytics,与BI工具无缝集成,无需编程。KAP是Hadoop OLAP解决方案中的本地产品,它仅通过标准API与集群进行交互,并支持从即将到来的环境到云端的主要Hadoop分发。

在Azure上,大多数数据都存储在Azure BLOB存储或Azure Data Lake Store中,然后作为外部表加载到Hive中。KAP根据分析前由建模者设计的数据模型,使用MapReduce / Spark构建多维数据集(索引)。在查询运行时,所有查询都可以访问预先聚合的多维数据集数据,结果将在次秒钟内返回。通过利用独特的预计算技术,即使资源有限,KAP也能提供一致的查询延迟,无论数据增长多少。KAP还提供与各种Azure存储服务(如Azure BLOB存储和Azure Data Lake Store)的本机集成。它还可以连接HDInsight Kafka集群,从卡夫卡摄

在Azure HDInsight上安装KAP

通过Azure HDInsight解决方案上的KAP,用户可以在现有的HDInsight集群中安装KAP,也可以通过单击来为KAP设计的独立优化集群。目前,KAP作为HDInsight HBase集群的应用。

一键安装后,您将获得以下组件:

  • KAP: Apache Kylin的企业版,通过构建预先计算的多维数据集,为HDInsight提供核心OLAP分析。
  • KyAnalyzer:内置的OLAP敏捷BI工具,用于通过连接到KAP进行快速BI分析。

© 著作权归作者所有

共有 人打赏支持
创新先驱者
粉丝 0
博文 3
码字总数 2190
作品 0
佛山
Apache Kylin 首批入驻微软 Azure 镜像市场

2016年9月21日,微软企业技术决策论坛在北京召开。在该论坛上,微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户...

宣屹 ⋅ 2016/09/21 ⋅ 3

Kyligence使用Alluxio加速云上OLAP分析

作者:史少锋 (shaofeng@kyligence.io),Kyligence 高级架构师 编辑:Sammi 自上世纪以来,联机分析处理 (OLAP) 技术已被企业广泛采用;企业运用 OLAP 分析其业务数据,生成报表,从而帮助业...

Kyligence ⋅ 2017/11/30 ⋅ 0

微软首个将Apache Kafka引入云端生产环境

  【IT168 资讯】经过长达一年的测试期后,Azure HDInsight的Apache Kafka已经做好了承担生产工作负载的准备,将与微软联合推出相关工作的解决方案。   Kafka是一个开源的流处理平台,对...

it168网站 ⋅ 2017/12/20 ⋅ 0

Kyligence发布最新旗舰产品KAP 2.1,为Apache Kylin企业用户提供更快更强的大数据分析能力

据悉,领先的智能大数据分析技术及解决方案供应商上海跬智信息技术有限公司(Kyligence)今日宣布正式发布企业级产品KyligenceAnalytics Platform (KAP) 2.1版本。KAP2.1在既有基础上进行了一...

kyligence ⋅ 2016/11/14 ⋅ 1

Kyligence 发布企业级大数据智能分析平台 KAP

大数据智能分析科技公司Kyligence2016年8月3日,在北京宣布正式发布其企业级大数据智能分析平台KAP(Kyligence Analytics Platform),该平台是基于Apache软件基金会顶级项目Apache Kylin实现...

彤娘娘 ⋅ 2016/08/04 ⋅ 0

揭秘即将亮相 HadoopCon 2016 的大数据新星

根据IDC研究显示,大数据解决方案将在未来四年中,帮助全球企业分享大约1.6万亿美元新增收入的数据红利。在大数据产业发展中,以Hadoop为代表的开源大数据生态成为大数据和云计算的重要技术支...

局长 ⋅ 2016/09/09 ⋅ 0

由 Apache Kylin 组建的 Kyligence 公司获得数百万美元的天使轮投资

大数据初创公司Kyligence,由Apache Kylin™核心开发团队组建的创业公司,日前宣布获得了数百万美元的天使轮投资。 Kyligence是一家总部位于上海的大数据初创企业,成立于2016年初,是一家专...

oschina ⋅ 2016/04/07 ⋅ 10

Kyligence正式发布KyBot - Apache Kylin在线诊断、优化及服务平台

今天, 大数据已经是每一个公司的战略,越来越多的企业正将相关的数据应用、服务等迁移到大数据平台上。作为中国唯一的Apache 软件基金会顶级开源项目,Apache Kylin在开源后的短短两年内,赢...

kyligence ⋅ 2016/11/17 ⋅ 0

【开源访谈】李栋:2.0 划时代版本后的 Apache Kylin ,前路何方?

Apache Kylin 2.0 正式版发布已有半年,社区反响如何,哪些特性最受欢迎,下一步将往哪个方向发展?本期,【开源访谈】邀请到了 Kyligence 技术合伙人兼高级软件架构师李栋,解疑 2.0 划时代...

王练 ⋅ 2017/11/20 ⋅ 1

高手问答第 145 期 — 开源的分布式分析引擎 Apache Kylin

OSCHINA 本期高手问答(2017 年 3 月 14 日 — 3 月 20 日)我们请来了@shaofengsh (史少锋)和大家探讨开源分布式分析引擎 Apache Kylin 的相关问题。 @shaofengsh 史少峰,Kyligence 技术...

局长 ⋅ 2017/03/13 ⋅ 32

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring JavaConfig 注解

JavaConfig注解允许开发者将Bean的定义和配置放在Java类中。它是除使用XML文件定义和配置Bean外的另一种方案。 配置: 如一个Bean如果在XML文件可以这样配置: <bean id="helloBean" class="...

霍淇滨 ⋅ 23分钟前 ⋅ 0

Spring clound 组件

Spring Cloud技术应用从场景上可以分为两大类:润物无声类和独挑大梁类。 润物无声,融合在每个微服务中、依赖其它组件并为其提供服务。 Ribbon,客户端负载均衡,特性有区域亲和、重试机制。...

英雄有梦没死就别停 ⋅ 25分钟前 ⋅ 0

Confluence 6 重新获得站点备份文件

Confluence 将会创建备份,同时压缩 XML 文件后存储熬你的 <home-directory>/backups> 目录中。你需要自己访问你安装的 Confluence 服务器,并且从服务器上获得这个文件。 运行从 Confluence...

honeymose ⋅ 29分钟前 ⋅ 0

informix的常用SQL语句

1、创建数据库 eg1. 创建不记录日志的库testdb,参考语句如下: CREATE DATABASE testdb; eg2. 创建带缓冲式的记录日志的数据库testdb(SQL语句不一定在事务之中,拥有者名字不被用于对象的解...

wangxuwei ⋅ 45分钟前 ⋅ 0

matplotlib画图

最简单的入门是从类 MATLAB API 开始,它被设计成兼容 MATLAB 绘图函数。 from pylab import *from numpy import *x = linspace(0, 5, 10)y = x ** 2figure()plot(x, y, 'r')...

Dr_hu ⋅ 今天 ⋅ 0

RabbitMQ学习以及与Spring的集成(三)

本文介绍RabbitMQ与Spring的简单集成以及消息的发送和接收。 在RabbitMQ的Spring配置文件中,首先需要增加命名空间。 xmlns:rabbit="http://www.springframework.org/schema/rabbit" 其次是模...

onedotdot ⋅ 今天 ⋅ 0

JAVA实现仿微信红包分配规则

最近过年发红包拜年成为一种新的潮流,作为程序猿对算法的好奇远远要大于对红包的好奇,这里介绍一种自己想到的一种随机红包分配策略,还请大家多多指教。 算法介绍 一、红包金额限制 对于微...

小致dad ⋅ 今天 ⋅ 0

Python 数电表格格式化 xlutils xlwt xlrd的使用

需要安装 xlutils xlwt xlrd 格式化前 格式化后 代码 先copy读取的表格,然后按照一定的规则修改,将昵称中的学号提取出来替换昵称即可 from xlrd import open_workbookfrom xlutils.copy ...

阿豪boy ⋅ 今天 ⋅ 0

面试题:使用rand5()生成rand7()

前言 读研究生这3 年,思维与本科相比变化挺大的,这几年除了看论文、设计方案,更重要的是学会注重先思考、再实现,感觉更加成熟吧,不再像个小P孩,人年轻时总会心高气傲。有1 道面试题:给...

初雪之音 ⋅ 今天 ⋅ 0

Docker Toolbox Looks like something went wrong

Docker Toolbox 重新安装后提示错误:Looks like something went wrong in step ´Checking if machine default exists´ 控制面板-->程序与应用-->启用或关闭windows功能:找到Hyper-V,如果处......

随你疯 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部