文档章节

云和大数据学习笔记

飞弹蛋
 飞弹蛋
发布于 2016/04/12 11:58
字数 683
阅读 92
收藏 1

云定义:把一堆it资源集成,按使用情况来计费;

并行-》集群-》网格-》互联网

分类及特征

服务类型:saas(应用软件),paas(应用平台),iaas(基础设施)

公有云,私有云

各方角色视角(对终端用户-按需提供服务与能力,可快速按需扩容,技术无感知;云提供者-架构、模式、产品、运维;设计开发者:新观念、新模式、工作量

市面示例:

iaas 阿里云,橙云主机

paas 百度数据库

saas 云笔记,亚马逊服务,八百客crm等

推广障碍(数据安全)


大数据:巨量资料(big data),结构化及非结构化数据

特性:大量化、多样化、快速化、价值低密度

《大数据时代》--维克托

数据相关关系

大数据的核心就是预测

信息风暴正在改变我们的生活、思维、管理、商业

国家战略-大数据观

iaas层技术:

虚拟化技术

虚拟化资源包括计算能力和资料存储

服务器虚拟化(分区,隔离,封装,相对硬件独立)、桌面虚拟化、存储虚拟化、网络虚拟化

虚拟化软件如vmware

云计算管理平台如openstack

容器级虚拟化解决方案如docker(基于liunx)开源,应用容器


paas层技术

类中间件

核心技术:分布式技术(把多台机器虚拟成一台性能极强的超级计算机)

--分布式存储、计算、数据库、同步机制、负载机制、任务调度

分布式软件开发、测试、运行工具

阿里pass架构(交易型)

cdn,slb(svs负载均衡)

High Speed Framework(HSF)/Dubblo软esb

商品中心|用户中心

消息中间件  tddl、ob 数据库切分

内存缓存服务器,小文件存储服务器

定时拉取(hadoop、阿里云飞天)

阿里大数据架构

hadoop集群,hbase


paas层技术

分布式文件系统

网络文件系统nfs,google的gis,hadoop的hdfs

分布式(内存、关系)数据库

三层(代理、关系数据库、运维监控)

nosql存储(非关系型数据库;基于内存存储redis、memcache,key/value)使用哈希表

列存储,键存储如cassandra,hbase

文档存储,json


消息中间件:异步通知机制

海量数据分析:tb甚至pb级别,组织、聚合


分布式计算(离线计算如hadoop的mapreduc,准实时计算yahoo的s4及twiter的storm,内存计算如spark类似于mapreduce但数据是放到内存里迭代计算)

软总线,vls,nginx等

下面学习大数据hadoop及公司大数据架构介绍



© 著作权归作者所有

共有 人打赏支持
上一篇: python脚本技巧
下一篇: eclipse常用快捷键
飞弹蛋
粉丝 3
博文 24
码字总数 4372
作品 0
太原
后端工程师
私信 提问
贵州省人社厅携手云和恩墨走进贵州大学

风声雨声读书声,校园的生活是那么安详和宁静,然而某一天我们不得不面对告别青葱岁月,直面人生社会职业竞争,家事国事天下事,安逸日子一定会过去,未雨绸缪才能更好适应变化。 我们正处在...

玄学酱
2018/05/24
0
0
20天,碎片化时间,266页西瓜书。大神笔记拿走,快速学起来

     五一小长假前,大数据文摘发起了打卡学习活动,收到了读者朋友的积极响应,也成了氛围良好的学习社区。目前,第三轮打卡学习活动即将接近尾声,文摘菌带大家一起来感受打卡学习社区...

大数据文摘
2018/05/13
0
0
坚果云和印象笔记你选择哪个付费

坚果云和印象笔记你选择哪个付费??还有其他不错的服务吗?付费服务可以的。

eechen的粉丝
2013/05/07
477
5
AI角 | 把吴恩达深度学习系列课程画出来,这有份诚意满满的笔记求查收

在吴恩达机器学习系列课程完结后不久,一位名叫Tess Ferrandez的小姐姐在推特上分享了一套自己的课程笔记,瞬间收获了3k+赞和1k+转发。 不同于满屏公式代码的黑白笔记,这套信息图不仅知识点...

技术小能手
2018/03/19
0
0
把吴恩达深度学习系列课程画出来,这有份诚意满满的笔记求查收

     大数据文摘作品   在吴恩达机器学习系列课程完结后不久,一位名叫Tess Ferrandez的小姐姐在推特上分享了一套自己的课程笔记,瞬间收获了3k+赞和1k+转发。   不同于满屏公式代码...

大数据文摘
2018/03/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

学习设计模式之路

https://java-design-patterns.com/patterns/ https://www.oodesign.com/ https://www.programering.com/a/MTNxAzMwATY.html https://design-patterns.readthedocs.io/zh_CN/latest/ https:/......

晨猫
25分钟前
0
0
JDK1.8 jar包说明

JDK 1.8 lib:access-bridge-64.jarcharsets.jarcldrdata.jardeploy.jardnsns.jarjaccess.jarjavawa.jarjce.jarjfr.jarjfxrt.jarjfxswt.jarjsse.jarlocaledata.jar......

冷基
28分钟前
0
0
判断用户的icloud是否开启【Swift4.2】

使用icloudkit存储用户私人数据时,必须判断用户的icloud是否开启【Swift4.2】 func isICloudContainerAvailable()-> Bool { if FileManager.default.ubiquityIdentityToken != ni......

叶落花开
48分钟前
1
0
今天的学习

1、执行git add *命令就把改动提交到了暂存区,执行git pull命令将远程仓库的数据拉到当前分支并合并,执行git checkout [branch-name]切换分支 2、执行git commit -m '说明' 命令就把改动提...

墨冥
昨天
0
0
Android4.4 及以下TextView,Button等控件使用矢量图报错

1 问题描述 最近项目开发中,图标资源我尽量使用了矢量图,然而配置了基本的兼容设置,程序在低版本中运行还是出现了问题。 xml布局文件中,在TextView中使用矢量图,比如android:drawableS...

newtrek
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部