文档章节

[云框架]SMACK大数据架构

一只饭盒
 一只饭盒
发布于 2017/07/21 10:39
字数 241
阅读 16
收藏 0

github地址:https://github.com/cloudframeworks-smack/user-guide-smack

SMACK是一种数据处理的技术组合,S 代表 Spark (引擎)、M 代表 Mesos (容器)、A 代表 Akka (模型)、C 代表 Cassandra (存储)、K 代表 Kafka (消息队列)。

面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战,SMACK 可以解决 Hadoop 等熟知技术无法解决的诸多问题,特别是物联网化、API 化趋势下 big data 向fast data转变所带来的新需求,以及大数据处理对于Data Pipeline的依赖。

[云框架]SMACK 大数据架构,在引擎层增加了Flink用于处理实时数据,使用Kubernetes替换 Mesos 作为容器层,以某网站数据为例,提供 SMACK 大数据框架的最佳实践,包括 SMACK、数据接入、数据展示在内的完整框架。

© 著作权归作者所有

共有 人打赏支持
一只饭盒
粉丝 1
博文 5
码字总数 1058
作品 0
年薪百万的大数据开发工程师的入门书单(收藏)

前言 你们是不是都听过一句话:谷歌比你自己更了解你 事实上,这句话并不是毫无根据,我们周边的一切无不体现数据的重要性,你想想,我们对自己的看法会受到多种主观和客观的因素影响,但谷歌...

风火大数据
07/21
0
0
DKHadoop人力资源大数据解决方案架构

大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式,很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”。大数据可能在国内的起步较晚,但我们可能却是对大数据应用最...

adnb34g
06/28
0
0
DKHadoop人力资源大数据解决方案架构

大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式,很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”。大数据可能在国内的起步较晚,但我们可能却是对大数据应用最...

adnb34g
06/28
0
0
基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉...

阿里云云栖社区
03/15
0
0
云计算技术学习,云计算企业发展的4大挑战

IDG(美国国际数据集团)在其大数据和分析调查报告中,确定了企业大数据业务发展的4大挑战。 1、数据分析和管理人才的短缺 大数据系统的发展速度如此之快,新的工具、功能和框架在几个月内就...

长沙千锋
05/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SQL count(*) 和count(1)的区别

开发中经常会使用这两个聚合函数,作用都是用来统计记录行,今天查找资料发现,其实这两个函数并没有区别, 实践才是检验的标准,首先看执行计划(表是我自己建立的): 可以看到,两个执行计...

一曲图森破
5分钟前
0
0
ppwjs之bootstrap文字排版:字体设置

<!DOCTYPT html><html><head><meta http-equiv="content-type" content="text/html; charset=utf-8" /><title>ppwjs欢迎您</title><link rel="icon" href="/favicon.ico" ......

ppwjs
7分钟前
0
0
区块链100讲:详解区块链之P2P网络

1 P2P网络 如果我们简单来看 P2P 技术,它的应用领域已经非常广泛了,从流媒体到点对点通讯、从文件共享到协同处理,多种领域都有它的身影出现。 同样的,P2P 的网络协议也有很多,比较常见的...

HiBlock
22分钟前
0
0
74.expect脚本同步文件以及指定host同步文件 构建分发系统文件和命令

20.31 expect脚本同步文件: 在expect脚本中去实现在一台机器上把文件同步到另外一台机器上去。核心命令用的是rsync ~1.自动同步文件 #!/usr/bin/expect set passwd "123456" spawn rsync -a...

王鑫linux
47分钟前
0
0
TypeScript项目引用(project references)

转发 TypeScript项目引用(project references) TypeScript新特性之项目引用(project references) 项目引用是TypeScript 3.0中的一项新功能,允许您将TypeScript程序构建为更小的部分。 通过这...

durban
51分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部