文档章节

将交互式分析带入Azure HDInsight:Kyligence Analytics Platform启用次秒查询

创新先驱者
 创新先驱者
发布于 2017/08/12 14:44
字数 1484
阅读 10
收藏 0

在资源密集型系统中,查询将竞争运行时资源,并且在工作负载高时需要几个小时才能返回。Hadoop上的SQL正在不断改进,但是通常需要等待几分钟甚至几个小时才能返回单个查询,尤其是当数据集很大时。这些系统中的大多数是资源密集型的,其中查询竞争运行时资源,而在工作负载高时,性能下降。

为了解决这个问题,Kyligence Analytics Platform(KAP)可以在海量数据集上实现交互式分析,并具有次秒查询延迟。KAP是由Apache Kylin提供支持的领先大数据智能平台。即使在大规模数据集上,它也能够实现次秒查询延迟的交互式分析,并被联想,中国移动等企业广泛采用。我们很高兴地宣布,Kyligence团队和Azure HDInsight团队已经紧密合作,将OLAP功能带入HDInsight,并且KAP现在可作为HDInsight应用程序在Azure HDInsight上使用。

HDInsight应用平台

Azure HDInsight是唯一全面管理的云Hadoop产品,为99.9%SLA支持的Spark,Hive,MapReduce,HBase,Storm,Kafka和R Server提供优化的开源分析集群。这些大数据技术和ISV应用程序都可以轻松部署为具有企业级安全性和监控功能的托管集群。

应用程序的开源生态系统已经增长,目的是使客户更容易构建其大数据和分析解决方案。今天,客户发现这些生产力应用程序很难发现,而且很难安装和配置应用程序。为了解决这一缺陷,HDInsight应用平台为Microsoft提供了一个独特的体验,ISV可以直接向客户提供应用程序,客户可以轻松发现,安装和使用为大数据生态系统构建的ISV应用程序。

作为这种集成的一部分,KAP可以通过一键点击HDInsight轻松部署。

互动分析与数字数据在HDInsight

Hadoop专为大规模数据处理而设计,但对于交互式分析来说并不足够。通过提供与HDInsight的以下集成,KAP可在HDInsight上提供交互式分析功能:

  • Hadoop和HDInsight上的本地SQL支持:许多现有的大数据分析技术都有自己的查询语言或针对分析场景进行优化的专有存储引擎。分析师难以学习新的查询语言,或将数据从HDFS / BLOB存储迁移到其他平台。使用KAP的本机SQL支持和ODBC驱动程序,客户可以使用标准SQL界面,并在其大量数据上选择自己喜欢的BI工具。
  • 次秒查询响应:查询性能是大多数大数据用例的瓶颈。如果原始数据增长10倍时,集群资源无法展开,则性能将下降。为了使二次查询响应一致是HDInsight上的交互式分析和KAP的关键,通过提供预先计算的多维数据集来解决这个问题。
  • 弹性体系结构:数据集的通常范围是千兆字节,太字节等。Hadoop为批量处理提供弹性基础设施,KAP作为交互式分析技术,还利用Hadoop的弹性功能实现横向扩展解决方案。
  • 与HDInsight的本土集成:云是采用新技术的轻松方式,而不用担心部署或监控。使用KAP + HDInsight作为全面管理的云解决方案,可帮助用户降低运营成本并实现高可用性。KAP可以与所有支持的Azure存储服务(Azure BLOB存储和Azure Data Lake Store)配合使用,并且还可以使用HDInsight Kafka集群来从卡夫卡摄取数据。

KAP - 由Apache Kylin提供的企业级数据仓库

KAP是由Apache Kylin提供的Hadoop上的企业OLAP ,可在PB级数据集上实现亚秒级SQL查询延迟,在互联网规模上提供高并发性,并使分析师能够在Hadoop上构建业务标准数据仓库和商业智能方法学BI。KAP是一个统一的分析平台,为业务用户,分析师和具有自助服务的工程师简化了Big Data Analytics,与BI工具无缝集成,无需编程。KAP是Hadoop OLAP解决方案中的本地产品,它仅通过标准API与集群进行交互,并支持从即将到来的环境到云端的主要Hadoop分发。

在Azure上,大多数数据都存储在Azure BLOB存储或Azure Data Lake Store中,然后作为外部表加载到Hive中。KAP根据分析前由建模者设计的数据模型,使用MapReduce / Spark构建多维数据集(索引)。在查询运行时,所有查询都可以访问预先聚合的多维数据集数据,结果将在次秒钟内返回。通过利用独特的预计算技术,即使资源有限,KAP也能提供一致的查询延迟,无论数据增长多少。KAP还提供与各种Azure存储服务(如Azure BLOB存储和Azure Data Lake Store)的本机集成。它还可以连接HDInsight Kafka集群,从卡夫卡摄

在Azure HDInsight上安装KAP

通过Azure HDInsight解决方案上的KAP,用户可以在现有的HDInsight集群中安装KAP,也可以通过单击来为KAP设计的独立优化集群。目前,KAP作为HDInsight HBase集群的应用。

一键安装后,您将获得以下组件:

  • KAP: Apache Kylin的企业版,通过构建预先计算的多维数据集,为HDInsight提供核心OLAP分析。
  • KyAnalyzer:内置的OLAP敏捷BI工具,用于通过连接到KAP进行快速BI分析。

© 著作权归作者所有

共有 人打赏支持
创新先驱者
粉丝 0
博文 3
码字总数 2190
作品 0
佛山
Apache Kylin 首批入驻微软 Azure 镜像市场

2016年9月21日,微软企业技术决策论坛在北京召开。在该论坛上,微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户...

宣屹
2016/09/21
1K
3
Kyligence使用Alluxio加速云上OLAP分析

作者:史少锋 (shaofeng@kyligence.io),Kyligence 高级架构师 编辑:Sammi 自上世纪以来,联机分析处理 (OLAP) 技术已被企业广泛采用;企业运用 OLAP 分析其业务数据,生成报表,从而帮助业...

Kyligence
2017/11/30
0
0
微软首个将Apache Kafka引入云端生产环境

  【IT168 资讯】经过长达一年的测试期后,Azure HDInsight的Apache Kafka已经做好了承担生产工作负载的准备,将与微软联合推出相关工作的解决方案。   Kafka是一个开源的流处理平台,对...

it168网站
2017/12/20
0
0
Kyligence发布最新旗舰产品KAP 2.1,为Apache Kylin企业用户提供更快更强的大数据分析能力

据悉,领先的智能大数据分析技术及解决方案供应商上海跬智信息技术有限公司(Kyligence)今日宣布正式发布企业级产品KyligenceAnalytics Platform (KAP) 2.1版本。KAP2.1在既有基础上进行了一...

kyligence
2016/11/14
205
1
Kyligence 发布企业级大数据智能分析平台 KAP

大数据智能分析科技公司Kyligence2016年8月3日,在北京宣布正式发布其企业级大数据智能分析平台KAP(Kyligence Analytics Platform),该平台是基于Apache软件基金会顶级项目Apache Kylin实现...

彤娘娘
2016/08/04
2.1K
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Ubuntu18.04 显卡GF-940MX安装NVIDIA-390.77

解决办法: 下面就给大家一个正确的姿势在Ubuntu上安装Nvidia驱动: (a)首先去N卡官网下载自己显卡对应的驱动:www.geforce.cn/drivers (b)下载后好放在英文路径的目录下,怎么简单怎么来...

AI_SKI
今天
3
0
深夜胡思乱想

魔兽世界 最近魔兽世界出了新版本, 周末两天升到了满级,比之前的版本体验好很多,做任务不用抢怪了,不用组队打怪也是共享拾取的。技能简化了很多,哪个亮按哪个。 运维 服务器 产品 之间的...

Firxiao
今天
1
0
MySQL 8 在 Windows 下安装及使用

MySQL 8 带来了全新的体验,比如支持 NoSQL、JSON 等,拥有比 MySQL 5.7 两倍以上的性能提升。本文讲解如何在 Windows 下安装 MySQL 8,以及基本的 MySQL 用法。 下载 下载地址 https://dev....

waylau
今天
0
0
微信第三方平台 access_token is invalid or not latest

微信第三方开发平台code换session_key说的特别容易,但是我一使用就带来无穷无尽的烦恼,搞了一整天也无济于事. 现在记录一下解决问题的过程,方便后来人参考. 我遇到的这个问题搜索了整个网络也...

自由的开源
今天
3
0
openJDK之sun.misc.Unsafe类CAS底层实现

注:这篇文章参考了https://www.cnblogs.com/snowater/p/8303698.html 1.sun.misc.Unsafe中CAS方法 在sun.misc.Unsafe中CAS方法如下: compareAndSwapObject(java.lang.Object arg0, long a......

汉斯-冯-拉特
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部