文档章节

开源大数据周刊-第53期

大大梁
 大大梁
发布于 2017/05/23 16:03
字数 918
阅读 2
收藏 0
点赞 0
评论 0

 

阿里云E-Mapreduce动态

  • 云HBase支持超过300g的容量,请提工单申请
  • 云HBase支持phoenix,phoenix支持海量数据的实时分析

资讯

  • 云计算大会召开-阿里巴巴技术专家宋军带来关于Spark的分享 云计算技术大会在北京召开,阿里巴巴技术专家宋军分享了题为《SparkSQL在ETL中的应用》的演讲。宋军表示,ETL主要有三个步骤:抽取、转换、加载。首先读取数据源,做清洗加工,整合处理,最终把这些数据存储到目标存储里,对ETL要求满足简单易用、支持多种数据源、支持容错处理、丰富的算子、复杂数据类型、计算快等多个因素。如何实现以上目标,宋军从DataSource、丰富的算子 、Hive兼容、性能、云上ETL 五个方面作出解读。

  • 谷歌 HBaseCon West 2017 大数据研讨会开幕在即,搞 Apache HBase 的开发者不可错过 Apache HBase 是基于 Hadoop 框架和谷歌 Bigtable 技术建立起来的一款分布式、可拓展的开源数据库实现。谷歌在博客中表示,得益于阿里巴巴、苹果、Facebook 和 Visa 等企业用户的大力支持,目前 HBase 开源社区已经取得了显著的发展,并正在建立起一套完善的大数据“生态系统”,其中的关键组件包括:Apache Phoenix、OpenTSDB、Apache Trafodion 以及 Apache Kylin 等。

技术

  • HBase Phoenix助力海量数据实时分析phoenix满足海量数据实时分析需求,通过建立索引在海量数据上查询少量数据,并且基本实时返回; 支持做一些复杂的SQL操作,包括join,sub-query等;不适合于ETL,比如10T数据变为10T的数据。
  • 构建VPN满足云下开发环境访问云HBase数据库 当前云HBase正在公测中,不少客户在使用,在使用的过程中,一般开发同学在自己的电脑研发,需要在自己的电脑连接云HBase服务,对于性能等需求要求不高。本文主要讲述怎么通过VPN、VPC等方式构建一个测试环境,以满足开发的需求。
  • HBase在阿里搜索中的应用实践 HBase作为淘宝全网索引构建以及在线机器学习平台的核心存储系统,是阿里搜索基础架构的重要组成部分。本文我们将介绍HBase在阿里搜索的历史、规模,应用的场景以及在实际应用当中遇到的问题和优化。
  • 开源大数据查询分析引擎现状 本文将会对Hive、Impala、Shark、Stinger和Presto这五类主流的开源大数据查询分析引擎进行简要介绍以及性能比较,最后进 行总结与展望。Hive、Impala、Shark、Stinger和Presto的进化图谱如图1所示。姑且一看。
  • Kudu:一个融合低延迟写入和高性能分析的存储系统 Kudu 是一个基于 Raft 的分布式存储系统,它致力于融合低延迟写入和高性能分析这两种场景,并且能很好的嵌入到 Hadoop 生态系统里面,跟其他系统譬如 Cloudera Impala,Apache Spark 等对接。

欢迎加入阿里云开源大数据交流钉钉群

  • Hadoop交流群

screenshot

  • HBase交流群

image

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。

阿里云E-Mapreduce团队出品

原文链接

本文转载自:

共有 人打赏支持
大大梁
粉丝 0
博文 225
码字总数 0
作品 0
【码云周刊第 55 期】揭秘互联网防火墙核心技术

码云项目推荐 在日益复杂的互联网活动中,一个网络防火墙扮演着防备潜在的恶意的活动的屏障,并可通过一个”门”来允许人们在你的安全网络和开放的不安全的网络之间通信。今天,小编推荐国产...

码云Gitee ⋅ 01/14 ⋅ 0

【码云周刊第 61 期】红包利器祝你开年大吉!

码云项目推荐 如果大家有抽奖的开源项目,也可以托管到码云上,我们会及时给予推荐。最后,如果你很喜欢以下提到的项目,别忘了分享给其他人哦! 1、项目名称:红包利器 RobRedPack 项目简介...

码云Gitee ⋅ 02/08 ⋅ 0

2018年云栖社区值得订阅的11个精选技术期刊!

导语:近日,云栖社区全新推出垂直技术内容订阅平台,平台将以电子版周刊、月刊、每日导读等形式,为您呈现各垂直技术领域优质内容集锦。您只需通过一次简单订阅操作,即可定期接收到感兴趣的...

阿里云云栖社区 ⋅ 01/08 ⋅ 0

OSChina 技术周刊第十九期 —— 开源看板管理系统 LibreBoard

每周技术抢先看,总有你想要的! 移动开发 【软件】移动后端服务平台 Uncode 【博客】Android四大组件之一:BroadcastReceiver 【博客】仿QQ列表滑动弹出按钮、长按提示、刷新列表 服务端开发...

OSC编辑部 ⋅ 2015/01/25 ⋅ 6

OSChina 技术周刊第十六期 —— 每周技术精粹

每周技术抢先看,总有你想要的! 移动开发 【博客】[Android] AS 中 Gradle 配置运行浅析 服务端开发/管理 【软件】安全的即时聊天系统 Tox 【软件】HTTP 代理服务 gopee 【软件】流媒体平台...

OSC编辑部 ⋅ 2015/01/04 ⋅ 1

OSChina 开源周刊第 33 期 —— Java 7 生命周期终结

每周技术抢先看,总有你想要的! 开源资讯 Node.js 和 io.js 准备合作!合久必分,分久必合? Nervana 开源深度学习软件,性能超 Facebook、Nvidia产品 B 站建开源工作组 多 APP 使用其开源项...

OSC编辑部 ⋅ 2015/05/09 ⋅ 1

OSChina 开源周刊第三十三期 —— Node.js 和 io.js 准备合作!

每周技术抢先看,总有你想要的! 开源资讯 Node.js 和 io.js 准备合作!合久必分,分久必合? Nervana 开源深度学习软件,性能超 Facebook、Nvidia产品 B 站建开源工作组 多 APP 使用其开源项...

OSC编辑部 ⋅ 2015/05/09 ⋅ 0

OSChina 技术周刊第七期——每周技术精粹

每周技术抢先看,总有你想要的! 移动开发 【博客】WordPress 手机客户端生成系统 NextApp 配置指南 【博客】基于SuperSocket的IIS主动推送消息给android客户端 前端开发 【翻译】jQuery 3....

OSC编辑部 ⋅ 2014/11/03 ⋅ 4

开源库推荐文章

FcPermissions:也许是目前最好的动态权限请求库 一个简洁方便的处理 Android M 上动态权限的库 Android 常用三方框架的学习 Android 常用三方框架的学习 值得每个人收藏的《下拉刷新与加载更...

掘金官方 ⋅ 2017/12/12 ⋅ 0

OSChina 技术周刊第九期 —— 每周技术精选,值得一看!

每周技术抢先看,总有你想要的! 移动开发 【翻译】介绍 Visual Studio 的 Android 模拟器 【博客】手机腾讯网mt框架之mtwebapp示例解析。 【博客】《Android深入透析》之常用设计模式经验谈...

OSC编辑部 ⋅ 2014/11/16 ⋅ 4

没有更多内容

加载失败,请刷新页面

加载更多

下一页

从 Confluence 5.3 及其早期版本中恢复空间

如果你需要从 Confluence 5.3 及其早期版本中的导出文件恢复到晚于 Confluence 5.3 的 Confluence 中的话。你可以使用临时的 Confluence 空间安装,然后将这个 Confluence 安装实例升级到你现...

honeymose ⋅ 今天 ⋅ 0

Java8新增的DateTimeFormatter与SimpleDateFormat的区别

两者最大的区别是,Java8的DateTimeFormatter也是线程安全的,而SimpleDateFormat并不是线程安全。 在并发环境下使用SimpleDateFormat 为了能够在多线程环境下使用SimpleDateFormat,有这三种...

人觉非常君 ⋅ 今天 ⋅ 0

多线程如何控制执行顺序

线程的生命周期说明: 当线程被创建并启动以后,它既不是一启动就进入了执行状态,也不是一直处于执行状态,在线程的生命周期中,它要经过新建(New)、就绪(Runnable)、运行(Running)、...

MarinJ_Shao ⋅ 今天 ⋅ 0

用ZBLOG2.3博客写读书笔记网站能创造今日头条的辉煌吗?

最近两年,著名的自媒体网站今日头条可以说是火得一塌糊涂,虽然从目前来看也遇到了一点瓶颈,毕竟发展到了一定的规模,继续增长就更加难了,但如今的今日头条规模和流量已经非常大了。 我们...

原创小博客 ⋅ 今天 ⋅ 0

MyBatis四大核心概念

本文讲解 MyBatis 四大核心概念(SqlSessionFactoryBuilder、SqlSessionFactory、SqlSession、Mapper)。 MyBatis 作为互联网数据库映射工具界的“上古神器”,训有四大“神兽”,谓之:Sql...

waylau ⋅ 今天 ⋅ 0

以太坊java开发包web3j简介

web3j(org.web3j)是Java版本的以太坊JSON RPC接口协议封装实现,如果需要将你的Java应用或安卓应用接入以太坊,或者希望用java开发一个钱包应用,那么用web3j就对了。 web3j的功能相当完整...

汇智网教程 ⋅ 今天 ⋅ 0

2个线程交替打印100以内的数字

重点提示: 线程的本质上只是一个壳子,真正的逻辑其实在“竞态条件”中。 举个例子,比如本题中的打印,那么在竞态条件中,我只需要一个方法即可; 假如我的需求是2个线程,一个+1,一个-1,...

Germmy ⋅ 今天 ⋅ 0

Django第一期

安装Django 去https://www.djangoproject.com/download/ 下载最新版的Django,然后解压放到Anaconda\Lib\site-packages目录下,然后cmd进入此目录,输入安装命令: python setup.py install ...

大不了敲一辈子代码 ⋅ 今天 ⋅ 0

Springboot2 之 Spring Data Redis 实现消息队列——发布/订阅模式

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式,这里利用redis消息“发布/订阅”来简单实现订阅者模式。 实现之前先过过 redis 发布订阅的一些基础概念和操...

Simonton ⋅ 今天 ⋅ 0

error:Could not find gradle

一.更新Android Studio后打开Project,报如下错误: Error: Could not find com.android.tools.build:gradle:2.2.1. Searched in the following locations: file:/D:/software/android/andro......

Yao--靠自己 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部