将交互式分析带入Azure HDInsight:Kyligence Analytics Platform启用次秒查询
将交互式分析带入Azure HDInsight:Kyligence Analytics Platform启用次秒查询
创新先驱者 发表于4个月前
将交互式分析带入Azure HDInsight:Kyligence Analytics Platform启用次秒查询
  • 发表于 4个月前
  • 阅读 10
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

在资源密集型系统中,查询将竞争运行时资源,并且在工作负载高时需要几个小时才能返回。Hadoop上的SQL正在不断改进,但是通常需要等待几分钟甚至几个小时才能返回单个查询,尤其是当数据集很大时。这些系统中的大多数是资源密集型的,其中查询竞争运行时资源,而在工作负载高时,性能下降。

为了解决这个问题,Kyligence Analytics Platform(KAP)可以在海量数据集上实现交互式分析,并具有次秒查询延迟。KAP是由Apache Kylin提供支持的领先大数据智能平台。即使在大规模数据集上,它也能够实现次秒查询延迟的交互式分析,并被联想,中国移动等企业广泛采用。我们很高兴地宣布,Kyligence团队和Azure HDInsight团队已经紧密合作,将OLAP功能带入HDInsight,并且KAP现在可作为HDInsight应用程序在Azure HDInsight上使用。

HDInsight应用平台

Azure HDInsight是唯一全面管理的云Hadoop产品,为99.9%SLA支持的Spark,Hive,MapReduce,HBase,Storm,Kafka和R Server提供优化的开源分析集群。这些大数据技术和ISV应用程序都可以轻松部署为具有企业级安全性和监控功能的托管集群。

应用程序的开源生态系统已经增长,目的是使客户更容易构建其大数据和分析解决方案。今天,客户发现这些生产力应用程序很难发现,而且很难安装和配置应用程序。为了解决这一缺陷,HDInsight应用平台为Microsoft提供了一个独特的体验,ISV可以直接向客户提供应用程序,客户可以轻松发现,安装和使用为大数据生态系统构建的ISV应用程序。

作为这种集成的一部分,KAP可以通过一键点击HDInsight轻松部署。

互动分析与数字数据在HDInsight

Hadoop专为大规模数据处理而设计,但对于交互式分析来说并不足够。通过提供与HDInsight的以下集成,KAP可在HDInsight上提供交互式分析功能:

  • Hadoop和HDInsight上的本地SQL支持:许多现有的大数据分析技术都有自己的查询语言或针对分析场景进行优化的专有存储引擎。分析师难以学习新的查询语言,或将数据从HDFS / BLOB存储迁移到其他平台。使用KAP的本机SQL支持和ODBC驱动程序,客户可以使用标准SQL界面,并在其大量数据上选择自己喜欢的BI工具。
  • 次秒查询响应:查询性能是大多数大数据用例的瓶颈。如果原始数据增长10倍时,集群资源无法展开,则性能将下降。为了使二次查询响应一致是HDInsight上的交互式分析和KAP的关键,通过提供预先计算的多维数据集来解决这个问题。
  • 弹性体系结构:数据集的通常范围是千兆字节,太字节等。Hadoop为批量处理提供弹性基础设施,KAP作为交互式分析技术,还利用Hadoop的弹性功能实现横向扩展解决方案。
  • 与HDInsight的本土集成:云是采用新技术的轻松方式,而不用担心部署或监控。使用KAP + HDInsight作为全面管理的云解决方案,可帮助用户降低运营成本并实现高可用性。KAP可以与所有支持的Azure存储服务(Azure BLOB存储和Azure Data Lake Store)配合使用,并且还可以使用HDInsight Kafka集群来从卡夫卡摄取数据。

KAP - 由Apache Kylin提供的企业级数据仓库

KAP是由Apache Kylin提供的Hadoop上的企业OLAP ,可在PB级数据集上实现亚秒级SQL查询延迟,在互联网规模上提供高并发性,并使分析师能够在Hadoop上构建业务标准数据仓库和商业智能方法学BI。KAP是一个统一的分析平台,为业务用户,分析师和具有自助服务的工程师简化了Big Data Analytics,与BI工具无缝集成,无需编程。KAP是Hadoop OLAP解决方案中的本地产品,它仅通过标准API与集群进行交互,并支持从即将到来的环境到云端的主要Hadoop分发。

在Azure上,大多数数据都存储在Azure BLOB存储或Azure Data Lake Store中,然后作为外部表加载到Hive中。KAP根据分析前由建模者设计的数据模型,使用MapReduce / Spark构建多维数据集(索引)。在查询运行时,所有查询都可以访问预先聚合的多维数据集数据,结果将在次秒钟内返回。通过利用独特的预计算技术,即使资源有限,KAP也能提供一致的查询延迟,无论数据增长多少。KAP还提供与各种Azure存储服务(如Azure BLOB存储和Azure Data Lake Store)的本机集成。它还可以连接HDInsight Kafka集群,从卡夫卡摄

在Azure HDInsight上安装KAP

通过Azure HDInsight解决方案上的KAP,用户可以在现有的HDInsight集群中安装KAP,也可以通过单击来为KAP设计的独立优化集群。目前,KAP作为HDInsight HBase集群的应用。

一键安装后,您将获得以下组件:

  • KAP: Apache Kylin的企业版,通过构建预先计算的多维数据集,为HDInsight提供核心OLAP分析。
  • KyAnalyzer:内置的OLAP敏捷BI工具,用于通过连接到KAP进行快速BI分析。
共有 人打赏支持
粉丝 0
博文 3
码字总数 2190
×
创新先驱者
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: