文档章节

将交互式分析带入Azure HDInsight:Kyligence Analytics Platform启用次秒查询

创新先驱者
 创新先驱者
发布于 2017/08/12 14:44
字数 1484
阅读 10
收藏 0

在资源密集型系统中,查询将竞争运行时资源,并且在工作负载高时需要几个小时才能返回。Hadoop上的SQL正在不断改进,但是通常需要等待几分钟甚至几个小时才能返回单个查询,尤其是当数据集很大时。这些系统中的大多数是资源密集型的,其中查询竞争运行时资源,而在工作负载高时,性能下降。

为了解决这个问题,Kyligence Analytics Platform(KAP)可以在海量数据集上实现交互式分析,并具有次秒查询延迟。KAP是由Apache Kylin提供支持的领先大数据智能平台。即使在大规模数据集上,它也能够实现次秒查询延迟的交互式分析,并被联想,中国移动等企业广泛采用。我们很高兴地宣布,Kyligence团队和Azure HDInsight团队已经紧密合作,将OLAP功能带入HDInsight,并且KAP现在可作为HDInsight应用程序在Azure HDInsight上使用。

HDInsight应用平台

Azure HDInsight是唯一全面管理的云Hadoop产品,为99.9%SLA支持的Spark,Hive,MapReduce,HBase,Storm,Kafka和R Server提供优化的开源分析集群。这些大数据技术和ISV应用程序都可以轻松部署为具有企业级安全性和监控功能的托管集群。

应用程序的开源生态系统已经增长,目的是使客户更容易构建其大数据和分析解决方案。今天,客户发现这些生产力应用程序很难发现,而且很难安装和配置应用程序。为了解决这一缺陷,HDInsight应用平台为Microsoft提供了一个独特的体验,ISV可以直接向客户提供应用程序,客户可以轻松发现,安装和使用为大数据生态系统构建的ISV应用程序。

作为这种集成的一部分,KAP可以通过一键点击HDInsight轻松部署。

互动分析与数字数据在HDInsight

Hadoop专为大规模数据处理而设计,但对于交互式分析来说并不足够。通过提供与HDInsight的以下集成,KAP可在HDInsight上提供交互式分析功能:

  • Hadoop和HDInsight上的本地SQL支持:许多现有的大数据分析技术都有自己的查询语言或针对分析场景进行优化的专有存储引擎。分析师难以学习新的查询语言,或将数据从HDFS / BLOB存储迁移到其他平台。使用KAP的本机SQL支持和ODBC驱动程序,客户可以使用标准SQL界面,并在其大量数据上选择自己喜欢的BI工具。
  • 次秒查询响应:查询性能是大多数大数据用例的瓶颈。如果原始数据增长10倍时,集群资源无法展开,则性能将下降。为了使二次查询响应一致是HDInsight上的交互式分析和KAP的关键,通过提供预先计算的多维数据集来解决这个问题。
  • 弹性体系结构:数据集的通常范围是千兆字节,太字节等。Hadoop为批量处理提供弹性基础设施,KAP作为交互式分析技术,还利用Hadoop的弹性功能实现横向扩展解决方案。
  • 与HDInsight的本土集成:云是采用新技术的轻松方式,而不用担心部署或监控。使用KAP + HDInsight作为全面管理的云解决方案,可帮助用户降低运营成本并实现高可用性。KAP可以与所有支持的Azure存储服务(Azure BLOB存储和Azure Data Lake Store)配合使用,并且还可以使用HDInsight Kafka集群来从卡夫卡摄取数据。

KAP - 由Apache Kylin提供的企业级数据仓库

KAP是由Apache Kylin提供的Hadoop上的企业OLAP ,可在PB级数据集上实现亚秒级SQL查询延迟,在互联网规模上提供高并发性,并使分析师能够在Hadoop上构建业务标准数据仓库和商业智能方法学BI。KAP是一个统一的分析平台,为业务用户,分析师和具有自助服务的工程师简化了Big Data Analytics,与BI工具无缝集成,无需编程。KAP是Hadoop OLAP解决方案中的本地产品,它仅通过标准API与集群进行交互,并支持从即将到来的环境到云端的主要Hadoop分发。

在Azure上,大多数数据都存储在Azure BLOB存储或Azure Data Lake Store中,然后作为外部表加载到Hive中。KAP根据分析前由建模者设计的数据模型,使用MapReduce / Spark构建多维数据集(索引)。在查询运行时,所有查询都可以访问预先聚合的多维数据集数据,结果将在次秒钟内返回。通过利用独特的预计算技术,即使资源有限,KAP也能提供一致的查询延迟,无论数据增长多少。KAP还提供与各种Azure存储服务(如Azure BLOB存储和Azure Data Lake Store)的本机集成。它还可以连接HDInsight Kafka集群,从卡夫卡摄

在Azure HDInsight上安装KAP

通过Azure HDInsight解决方案上的KAP,用户可以在现有的HDInsight集群中安装KAP,也可以通过单击来为KAP设计的独立优化集群。目前,KAP作为HDInsight HBase集群的应用。

一键安装后,您将获得以下组件:

  • KAP: Apache Kylin的企业版,通过构建预先计算的多维数据集,为HDInsight提供核心OLAP分析。
  • KyAnalyzer:内置的OLAP敏捷BI工具,用于通过连接到KAP进行快速BI分析。

© 著作权归作者所有

共有 人打赏支持
创新先驱者
粉丝 0
博文 3
码字总数 2190
作品 0
佛山
私信 提问
Apache Kylin 首批入驻微软 Azure 镜像市场

2016年9月21日,微软企业技术决策论坛在北京召开。在该论坛上,微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户...

宣屹
2016/09/21
1K
3
Kyligence使用Alluxio加速云上OLAP分析

作者:史少锋 (shaofeng@kyligence.io),Kyligence 高级架构师 编辑:Sammi 自上世纪以来,联机分析处理 (OLAP) 技术已被企业广泛采用;企业运用 OLAP 分析其业务数据,生成报表,从而帮助业...

Kyligence
2017/11/30
0
0
微软首个将Apache Kafka引入云端生产环境

  【IT168 资讯】经过长达一年的测试期后,Azure HDInsight的Apache Kafka已经做好了承担生产工作负载的准备,将与微软联合推出相关工作的解决方案。   Kafka是一个开源的流处理平台,对...

it168网站
2017/12/20
0
0
Kyligence发布最新旗舰产品KAP 2.1,为Apache Kylin企业用户提供更快更强的大数据分析能力

据悉,领先的智能大数据分析技术及解决方案供应商上海跬智信息技术有限公司(Kyligence)今日宣布正式发布企业级产品KyligenceAnalytics Platform (KAP) 2.1版本。KAP2.1在既有基础上进行了一...

kyligence
2016/11/14
205
1
揭秘即将亮相 HadoopCon 2016 的大数据新星

根据IDC研究显示,大数据解决方案将在未来四年中,帮助全球企业分享大约1.6万亿美元新增收入的数据红利。在大数据产业发展中,以Hadoop为代表的开源大数据生态成为大数据和云计算的重要技术支...

局长
2016/09/09
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

hive load insert

本文主要是翻译Hive官网关于Load的解释,原文来源于:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables 介绍 Hive Load语句......

hblt-j
8分钟前
0
1
spring cloud中微服务之间的调用以及eureka的自我保护机制

我自己搭建了一个客户端微服务: 所以现在有两个微服务,我们所实现的就是微服务1和微服务2之间的调用 注册中心就不用多说了,具体看一下两个微服务 在project-solr中的constroller中: @Res...

架构师springboot
10分钟前
0
0
从源码角度理解Java设计模式——装饰者模式

一、饰器者模式介绍 装饰者模式定义:在不改变原有对象的基础上附加功能,相比生成子类更灵活。 适用场景:动态的给一个对象添加或者撤销功能。 优点:可以不改变原有对象的情况下动态扩展功...

我叫刘半仙
16分钟前
0
0
Java中前台接收后台List数据并循环打印

在Java后端获取到了数据,然后我们需要传到前端页面展现出来。 方法有两种: 方法一: 后端: request.setAttribute("list",list); 前端: <%ArrayList list = (ArrayList) request.get...

小_橙_子
24分钟前
1
0
Java:字节流和字符流(输入流和输出流)

什么是流 如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java高级交流:854630135,群里有阿里大牛直播讲解技术,以及Java大型互...

编程SHA
25分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部