文档章节

IT新潮关键词汇整理

LiangShao
 LiangShao
发布于 2014/08/16 16:21
字数 3159
阅读 123
收藏 2

    Pivotal是由VMware的Cloud Foundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。
    Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。Greenplum 被EMC公司收购,将其整合到EMC云计算战略中。
    说到底,GemFire 就是 Greenplum的新生。12306就是用了GemFire 这个内存技术。GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

--整理于2014、08、16

整体同步并行计算模型(Bulk Synchronous Parallel Computing Model,简称BSP模型),又名大同步模型或BSP模型,由哈佛大学Viliant和牛津大学Bill McColl提出。google Pregel、apapche hama、spark 都基于这个思想.

--2014-08-18 上午

    对于阿里的消息中间件系统,大家所广泛了解的是 @ 子柳 在《淘宝技术这十年》中介绍的 Notify ,但是从最近的阿里的开源计划中,我们经常看到 MetaQ / RocketMQ ,在阿里内部 Notify 和 MetaQ 是怎样的关系?我看到早期的 MetaQ 是采用的 Kafaka 的设计思路,那么可能大家就比较好奇 “ 问什么要重复造轮子 ” ,能不能介绍这个方面的考虑以及所做的工作?
    沈询: 要讲明白这个问题,就需要从产品的实际需求角度入手开始做个介绍了。Notify作为一个已经存在了5年多的消息产品,被广泛的应用在整个阿里巴巴集团的大部分消息通信领域。它的核心特性是: 提供事务支持、不保证消息顺序、消息可能会重复、推模型。
因为淘宝是个交易类网站,所以事务支持的特性能够非常方便的让用户可以快速的依托于Notify完成他们自己的业务逻辑。
    然而,一个产品不可能满足所有的场景,在当时我们就经常收到一些需要保证消息有序的发送和接收的需求,而这样的场景对于上来就定位于无序消息投递的 Notify 来说无异于釜底抽薪。
    而正在我们讨论这类需求应该如何被满足的时候,正好赶上 LinkedIn 的 KafKa 队列开源,简单的文件队列,拉模型,保证顺序的特性一下就吸引了我们的目光,在对他的做了整体架构上的Review以后,我们认为这是个非常优雅的模型,因为他足够简单,简单就是最好的~!
    然而里面也有一些特性不是我们所需要的,比如我们主要是面向内部用户,因此定期轮询去拉的方式就不适合我们的实际场景需求,并且因为 KafKa 的开发语言是 Scala ,不大利于我们的后续的维护,因此我们借鉴了 Kafka 的核心思路,对其进行了重写并开源,当然我们还是向 LinkedIn 的 KafKa 做了致敬的, MetaQ 其实是 Metamorphosis 的意思,是Kafka的名作。
    从上面的发展历程其实也就能够比较清晰的找到两个消息队列产品的不同定位了:
RocketQ(MetaQ) 主要面向消息有序的场景,能够提供更大的消息堆积能力
Notify,主要面向需要更加安全可靠地交易类场景,无序,推模式。

RocketMQ的前身是Metaq,当 Metaq 3.0发布时,产品名称改为RocketMQ
MetaQ2.x版本由于依赖了alibaba公司内部其他系统,对于公司外部用户使用不够友好,推荐使用3.0版本。

--2014-08-18 下午

官网上https://github.com/LMAX-Exchange/disruptor,这样介绍disruptor :High Performance Inter-Thread Messaging Library。 其实disruptor 的定位是单机多核并发框架。而akka 才能做到多机分布式。 回到activemq 在千万级基本就会出现极限问题,rocketmq貌似是不错的选择。

--2014-08-22 上午

akka 的应用

你的需求是自己寫 server cluster 嗎?
①自己寫 server 和 cluster
②自己寫 server,但是不是 cluster
③不自己寫 server 也自己不寫 cluster。
我想第一種需求少的可憐,但這是唯一比較適合 Akka 的系統,第二種則是少數,而且通常都是寫個 socket server 就好了,也沒多大,這樣的需求只需要 JBoss netty,而不是 Akka。第三種應該是最多的,大家都是拿現成的 apache / tomcat / RDBMS / NoSQL / hadoop / rabbitmq / jabber / solr .... 等等來兜,很少有需求需要自己苦幹實幹打造 cluster,尤其現在幾乎是 web 服務的天下,更是如此。

尽管我在用工具方面已经算是有点经验,但是为了今后能看懂更多的代码,我还是觉得学习akka跟disruptor的编程思想,是值得付出时间精力的。因为我对纯粹的业务逻辑编程已经厌烦了。

Cloudy Akka 如何了?
Akka的商业支持早先被叫作Cloudy Akka. 它包括两部分:
Akka的集群支持
监控和管理(早先称为Atmos)
Cloudy Akka已经停止了。集群支持已经被移进了Akka的开源版本中(即将到来的Akka 2.1),而监控和管理(Atmos)现在被重新命名为Typesafe控制台,是Typesafe Stack(详见下文)商业合约的一部分。

--2014-08-24 上午

Akka 发布了 2.2 版本的首个里程碑,该版本最大的变化就是使用 Spray.io 替代之前版本的 Netty。两者都是基于NIO的,性能应该差不多;关键的区别还是在于编程范式;Spary.io利用Scala的优美的语法和闭包等支持,可以写出更加易读和更少的代码实现更多的功能;

--2014-08-24 下午

    一般来说,企业如果规模大点,你基本都需要用到3种存储
对象存储、文件存储、块设备存储
这3种存储,有自己特有的应用场景,无法互相取代。到底是3种存储采用3个软件来实现,还是用一个软件来实现3个功能,这个是一直都有争议的。
3种存储,用3个软件,比较符合linux的哲学.不过企业内部维护3套存储软件,有点痛苦.
CEPH,野心是最大的,同时提供3种存储,比gluster还牛,gluster只提供文件存储和对象存储。
简单点说,就是能提供S3(对象存储),EBS(块设备存储),还能把一个目录mount到本地使用(文件存储)。

    Swift并不是文件系统或者实时的数据存储系统,它称为对象存储,用于永久类型的静态数据的长期存储,这些数据可以检索、调整,必要时进行更新,称为amazon s3的开源实现。
至于这三种存储的详细介绍,见http://my.oschina.net/liangshao/blog/310335

--2014-09-05 上午

    上面提到了swift(对象存储)、ceph(三种类型存储)、glusterfs(三种类型存储),其实这三者都能与openstack集成。 红帽更是推出openstack发行版RDO。

--2014-09-05 上午

Apache Ambari
Apache Mesos
Platform MapReduce
StackIQ Rocks+ Big Data
Zettaset Orchestrator

五个hadoop 顶级监控工具

--2014-09-10 上午
Ansible基于Python;相比之下,Puppet和Chef基于Ruby。

神器saltstack,是四神器Puppet、Chef、Ansible和Salt中最漂亮的。

--2014-10-18 上午


 SSL是Netscape开发的专门用户保护Web通讯的,目前版本为3.0。最新版本的TLS 1.0是IETF(工程任务组)制定的一种新的协议,它建立在SSL 3.0协议规范之上,是SSL 3.0的后续版本。两者差别极小,可以理解为SSL 3.1,它是写入了RFC的。 

--2014-10-19 上午

linux下的进程通信手段基本上是从Unix平台上的进程通信手段继承而来的。而对Unix发展做出重大贡献的两大主力AT&T的贝尔实验室及BSD(加州大学伯克利分校的伯克利软件发布中心)在进程间通信方面的侧重点有所不同。前者对Unix早期的进程间通信手段进行了系统的改进和扩充,形成了“system V IPC”,通信进程局限在单个计算机内;后者则跳过了该限制,形成了基于套接口(socket)的进程间通信机制。Linux则把两者继承了下来。

--2014-11-22 晚上

有人对比了下vsphere跟openstack的 区别,其实vsphere 集合了ESXi Server、vCenter Server等组件。

ESXi Server可以在裸机上直接安装,俗称服务虚拟化,英文hypervisor。类似的软件还有下面这三种。


1、Citrix XenServer(可以裸机直接安装)

2、Windows Server 2008 Hyper-V(基于宿主机器win server)

3、VMware ESX Server(Vmware 服务器虚拟化第一个产品叫ESX) | ESXI Server(可以裸机直接安装)

此外,还有较为出名的开源的KVM(基于宿主机器linux server)。

而vcenter是管理多个ESXi Server的软件。

而openstack没有自己的一套类似ESXi的东西,但它支持几乎所有的服务器虚拟化技术,当然包括XenServer Hyper-V ESX Server 或者是KVM。

除此之外,openstack还有一套自己的虚拟管理技术,当然这套管理软件远远比所谓的VCenter Server强大,所以 vmware公司又推了一套竞争方案,名为vCloud。VMware vCloud基础架构是基于VMware vSphere、VMware vCenter、VMware vCloud Director 和VMware vShield构建的,它实现了既在企业内部交付又通过由vCloud驱动的服务提供商交付的企业级云计算。

还有一个 叫做vSphere Hypervisor,他其实就是免费的vsphere,只有esxi功能, 没有vcenter功能。

Hypervisor-based跟Containner-based 结合是未来的趋势。

--2014-12-06 晚上

https://www.zhihu.com/question/30267006

该文大概阐述了app上token的处理方式。其中,关于客户端的保存,可看下文摘要:

客户端方面这个除非你有一个非常安全的办法,比如操作系统提供的隐私数据存储,那token肯定会存在泄露的问题。比如我拿到你的手机,把你的token拷出来,在过期之前就都可以以你的身份在别的地方登录。
解决这个问题的一个简单办法
1、在存储的时候把token进行对称加密存储,用时解开。
2、将请求URL、时间戳、token三者进行合并加盐签名,服务端校验有效性。
这两种办法的出发点都是:窃取你存储的数据较为容易,而反汇编你的程序hack你的加密解密和签名算法是比较难的。然而其实说难也不难,所以终究是防君子不防小人的做法。话说加密存储一个你要是被人扒开客户端看也不会被喷明文存储……
方法1它拿到存储的密文解不开、方法2它不知道你的签名算法和盐,两者可以结合食用。
但是如果token被人拷走,他自然也能植入到自己的手机里面,那到时候他的手机也可以以你的身份来用着,这你就瞎了。
于是可以提供一个让用户可以主动expire一个过去的token类似的机制,在被盗的时候能远程止损。
<del>话说一个人连自己手机都保护不好还谈什么安全……</del>

在网络层面上token明文传输的话会非常的危险,所以建议一定要使用HTTPS,并且把token放在post body里。

--2016-01-25 上午


© 著作权归作者所有

LiangShao

LiangShao

粉丝 15
博文 28
码字总数 17796
作品 1
松江
程序员
私信 提问
互联网+、C2B、B2B这些商业模式你真的懂了吗?

我们天天从电视上,互联网上听马云,马化腾等一众大佬们,喊着互联网+,O2O之类的新潮词汇,那他们到底指的是什么呢?你是真的了解还是云里雾里? 互联网+ 将互联网技术和传统行业相结合起来...

有态度的互联网人
2017/11/25
0
0
小白币读之常见区块链词汇(三)

大家好!我是hyrik老师(hyrik2020),七年虚拟货币玩家,大牛谈不上,但是也带着一千来号学生做了几年投资了,没错过比特币,没错过以太坊,没错过山寨币,没错过艾希欧,回报在1000倍左右了...

Hyrik
2018/09/13
0
0
springboot实战:我们的第一款开源软件

在信息爆炸时代,如何避免持续性信息过剩,使自己变得专注而不是被纷繁的信息所累?每天会看到各种各样的新闻,各种新潮的技术层出不穷,如何筛选出自己所关心的? 各位看官会想,我们是来看...

ityouknow
2017/04/13
0
0
程序员:明明是个小bug,但就是死活修不好......

明明是个小bug,但就是死活修不好...... 负载均衡 结对编程。。 让新手改个bug,结果... 新来的后端开发做的接口... 吃饭的时候有个产品经理过来... 程序员周末去约会.. 程序员意外走进市场组...

如蜗牛般努力
2017/12/12
0
0
【R图秀-2】社交网络数据可视化(一)

作者简介Introduction 傅兴:个人公众号:Rapp 往期回顾 为了进一步提高自己数据获取的能力,我把目光放到了互联网上一个重要的数据来源:社交网络(Social Network),比如国外的facebook和...

R语言中文社区
2018/01/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

MainThreadSupport

MainThreadSupport EventBus 3.0 中的代码片段. org.greenrobot.eventbus.MainThreadSupport 定义一个接口,并给出默认实现类. 调用者可以在EventBus的构建者中替换该实现. public interface ...

马湖村第九后羿
33分钟前
3
0
指定要使用的形状来代替文字的显示

控制手机键盘弹出的功能只能在ios上实现,安卓是实现不了的,所以安卓只能使用type类型来控制键盘类型,例如你要弹出数字键盘就使用type="number",如果要弹出电话键盘就使用type="tel",但这...

前端老手
43分钟前
5
0
总结:Raft协议

一、Raft协议是什么? 分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。 二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收...

浮躁的码农
50分钟前
7
0
Flask-admin Model View字段介绍

Model View字段介绍 can_create = True 是否可以创建can_edit = True 是否可以编辑can_delete = True 是否可以删除list_template = 'admin/model/list.html' 修改显......

dillonxiao
今天
5
0
从AnnotationTransactionAspect开始rushSpring事务

0. Spring 事务 with LTW 0.1. Spring 事务 With LTW的原因: Pure Proxy-base mode有缺陷,其失效原因分析及使用方法及运行机制(LoadTimeWeaverBeanDefinitionParser和 AspectJWeavingEnable......

Aruforce
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部