开源大数据周刊-第53期
开源大数据周刊-第53期
大大梁 发表于8个月前
开源大数据周刊-第53期
  • 发表于 8个月前
  • 阅读 2
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

 

阿里云E-Mapreduce动态

  • 云HBase支持超过300g的容量,请提工单申请
  • 云HBase支持phoenix,phoenix支持海量数据的实时分析

资讯

  • 云计算大会召开-阿里巴巴技术专家宋军带来关于Spark的分享 云计算技术大会在北京召开,阿里巴巴技术专家宋军分享了题为《SparkSQL在ETL中的应用》的演讲。宋军表示,ETL主要有三个步骤:抽取、转换、加载。首先读取数据源,做清洗加工,整合处理,最终把这些数据存储到目标存储里,对ETL要求满足简单易用、支持多种数据源、支持容错处理、丰富的算子、复杂数据类型、计算快等多个因素。如何实现以上目标,宋军从DataSource、丰富的算子 、Hive兼容、性能、云上ETL 五个方面作出解读。

  • 谷歌 HBaseCon West 2017 大数据研讨会开幕在即,搞 Apache HBase 的开发者不可错过 Apache HBase 是基于 Hadoop 框架和谷歌 Bigtable 技术建立起来的一款分布式、可拓展的开源数据库实现。谷歌在博客中表示,得益于阿里巴巴、苹果、Facebook 和 Visa 等企业用户的大力支持,目前 HBase 开源社区已经取得了显著的发展,并正在建立起一套完善的大数据“生态系统”,其中的关键组件包括:Apache Phoenix、OpenTSDB、Apache Trafodion 以及 Apache Kylin 等。

技术

  • HBase Phoenix助力海量数据实时分析phoenix满足海量数据实时分析需求,通过建立索引在海量数据上查询少量数据,并且基本实时返回; 支持做一些复杂的SQL操作,包括join,sub-query等;不适合于ETL,比如10T数据变为10T的数据。
  • 构建VPN满足云下开发环境访问云HBase数据库 当前云HBase正在公测中,不少客户在使用,在使用的过程中,一般开发同学在自己的电脑研发,需要在自己的电脑连接云HBase服务,对于性能等需求要求不高。本文主要讲述怎么通过VPN、VPC等方式构建一个测试环境,以满足开发的需求。
  • HBase在阿里搜索中的应用实践 HBase作为淘宝全网索引构建以及在线机器学习平台的核心存储系统,是阿里搜索基础架构的重要组成部分。本文我们将介绍HBase在阿里搜索的历史、规模,应用的场景以及在实际应用当中遇到的问题和优化。
  • 开源大数据查询分析引擎现状 本文将会对Hive、Impala、Shark、Stinger和Presto这五类主流的开源大数据查询分析引擎进行简要介绍以及性能比较,最后进 行总结与展望。Hive、Impala、Shark、Stinger和Presto的进化图谱如图1所示。姑且一看。
  • Kudu:一个融合低延迟写入和高性能分析的存储系统 Kudu 是一个基于 Raft 的分布式存储系统,它致力于融合低延迟写入和高性能分析这两种场景,并且能很好的嵌入到 Hadoop 生态系统里面,跟其他系统譬如 Cloudera Impala,Apache Spark 等对接。

欢迎加入阿里云开源大数据交流钉钉群

  • Hadoop交流群

screenshot

  • HBase交流群

image

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。

阿里云E-Mapreduce团队出品

原文链接

共有 人打赏支持
粉丝 0
博文 225
码字总数 0
×
大大梁
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: