文档章节

Nepxion分布式RPC框架

Nepxion
 Nepxion
发布于 2015/12/19 17:06
字数 2411
阅读 124
收藏 4

Nepxion Thuder (QQ 1394997)

代码基地:https://github.com/Nepxion
介绍文档:http://nepxion.iteye.com/

1. 概要

  • 1.1 Thunder是基于Netty + Hessian + ActiveMQ + Tibco + Zookeeper(Curator Framework) + Redis + FST + Spring + Spring Web MVC分布式RPC调用框架。架构思想主要是来自阿里巴巴的Dubbo框架,但比它更轻量级,零配置式实现部署

  • 1.2 Netty是由JBOSS提供的一个Java开源框架,提供异步的、事件驱动的网络应用程序框架和工具,它是基于TCP,UDP协议的传输方式的NIO框架。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.3 Hessian是轻量级的Remoting HTTP框架,提供同步的调用方式。它是基于二进制RPC协议。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.4 Kafka是一种高吞吐量的分布式发布订阅消息系统,非JMS标准,是MQ里面性能最优化的。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.5 ActiveMQ是由Apache出品,最流行的,能力强劲的开源消息总线。它支持JMS1.1和J2EE 1.4规范的 JMS Provider,支持二进制协议(openwire,amqp),文本协议(stomp),物联网协议(mqtt),WebSocket(ws)五种协 议,Spring无缝整合它到框架里面。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.6 TIBCO(NASDAQ:TIBX)是一家有着20年历史的老牌中间件公司,致力于EAI企业应用集成产品和解决方案的领域。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用。由于是商业软件,不提供开发包,请到该公司主页获取免费版开发包

  • 1.7 ZooKeeper是分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应 用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。Thunder利用Apache Curator Framework的衍生组件,实现对Zookeeper的调用

  • 1.8 Redis是一个Key-Value存储系统,异常快速的数据持久化,支持丰富的数据类型,良好的操作原子性,多实用的工具,可以在多个用例如缓存,消 息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数。Thunder利用它做发布/订阅功 能,该功能是对Netty和Hessian的增强

  • 1.9 FST(Fast Serialization)实现的Java快速对象序列化的开发包。序列化速度更快(2-10倍)、体积更小,而且兼容 JDK 原生的序列化

  • 1.10 Spring是轻量级的Java开发框架。Thunder利用Spring AOP技术实现面向切面的动态代理,通过命名空间的自定义标签解析FactoryBean

  • 1.11 Spring Web MVC,Thunder利用它实现和Hessian的整合

  • 1.12 Apache Core,Thunder利用它的异步NIO实现服务治理的数据传送

  • 1.13 Ebay Jetstream,Thunder利用它实现Web版的服务治理

  • 1.14 Google Guava EventBus,Thunder利用它实现事件驱动发布框架内部事件,解除耦合

  • 1.15 Splunk或Storm,Thunder利用它实现日志云管理

  • 1.16 Nepxion Swing Repository,Thunder利用它实现Java Desktop版的服务治理

  • 1.17 Java SPI,Thunder利用它实现服务发现

2. 功能

  • 2.1 Thunder进程又是服务方,也是调用方,互为Server和Client模式,只要在注册中心注册,无论是客户端还是服务端都将是负载均衡的节点

  • 2.2 支持TCP NIO框架(Netty),TCP MQ消息队列框架(Kafka,ActiveMQ,Tibco),HTTP(Hessian)的传输方式,支持多线程调用

  • 2.3 支持同步调用,异步调用Callback,广播通知方式(点对点的发布订阅模式)

  • 2.4 支持基于Spring的简单本地调用方式(显式调用),达到远程调用的目的,RPC调用

  • 2.5 支持服务方应用上下线调用方和服务的自动发现,不用重启调用方应用

  • 2.6 支持心跳和自动重连机制

  • 2.7 支持应用与注册中心Zookeeper重连机制

  • 2.8 支持注册中心的负载均衡的时候,切换到不健康服务方的时候,继续切换功能,并提供尝试切换次数的设定

  • 2.9 支持注册中心的负载均衡,一致性Hash(Consistent Hash)算法,权重轮循算法(Round Robin),随机轮循算法(Random)

  • 2.10 支持授权,基于密钥的服务安全访问,跟Hessian自带的安全认证结合在一起,采用双向密钥匹配方式

  • 2.11 支持接口调用的版本Version控制,版本不匹配拒绝调用,采用双向版本匹配

  • 2.12 支持限流,通过令牌刷新方式,可控制单位时间内接口被调用的次数

  • 2.13 支持升级后,服务中心持久化对象不一致,版本判断,并重新创建

  • 2.14 支持远程配置和调优,管理者可以通过远程配置工具,配置和调优众多分布式的服务提供方和调用方,当然它们既可以使用本地的配置,也可以使用远程配置

  • 2.15 支持统计中心的服务依赖情况(SOA治理)。查看服务方接口所在的地址和端口,所走的协议,所属应用,所属组,以及它暴露的接口方法列表,查看其是否启 动,可动态刷新;查看调用方的所调用的接口,接入的地址,所走的协议,所属应用,所属组,查看其是否接入,可动态刷新

  • 2.16 支持监控中心监控所有的方法调用(耗时、次数、异常等)信息,结合Splunk做动态日志监控,也可以通过第三方WebService分布式接入,做数据统计,通过广播方式,所有接入进来的WebService都将获得统计数据

  • 2.17 提供界面化的服务治理,包括分布式的服务方和调用的分布情况,上下线动态刷新,以及令牌控制,密钥控制,版本控制等功能

  • 2.18 支持四大通信中间件的性能优化,通过独立的配置文件实现,采用局部配置和全局配置的方式,局部配置优先于全局配置

  • 2.19 支持MQ(消息队列)在同一个进程中为服务/调用指定不同的MQ服务器

  • 2.20 支持MQ(消息队列)指定三种Connection或Session的缓存方式(SingleConnectionFactory,CachingConnectionFactory,PooledConnectionFactory)

  • 2.21 支持MQ(消息队列)指定两种初始化方式(JNDI和非JNDI)

  • 2.22 支持MQ(消息队列,主要是Kafka)的异步事件驱动发布框架内部事件

3. 压测

  • 3.1 基于Netty的通讯,在一般的测试环境下,用Apache JMeter工具测试,可以达到吞吐量5949.9/sec

  • 3.2 基于Hessian的通信,在一般的测试环境下,用Apache JMeter工具测试,可以达到吞吐量3124.1/sec

  • 3.3 基于ActiveMQ的通信,在一般的测试环境下,用Apache JMeter工具测试,可以达到吞吐量4212.8/sec

4. 注意

  • 4.1 Thunder的部署
    4.1.1 Thunder进程同时只能支持一种通信方式,在Netty,Hessian,Kafka,ActiveMQ,Tibco任选一
    4.1.2 对于Netty,Kafka,ActiveMQ,Tibco,可以独立运行,也可以运行在Web容器里
    4.1.3 对于Hessian,必须运行在Web容器里,需要配置web.xml,把配置文件指向要hessian-servlet.xml。部署的时候,需要把 Web Module的名字配置成thunder,如果这样则不需要<thunder:protocol id="protocol" type="hessian" path="/thunder"/>配置path了。如果不想这样,必须在xml配置成对应的Web Module名字

  • 4.2 Thunder的负载均衡
    4.2.1 Netty和Hessian属于点对点模式,Thunder提供集群的负载均衡
    4.2.2 Kafka,ActiveMQ和Tibco属于消息队列模式,由MQ服务器自身提供集群的负载均衡

  • 4.3 Thunder的服务地址
    4.3.1 五个中间件都需要配置port端口(host一般缺省为localhost),配置在xml的<thunder:application>节点
    4.3.2 Netty端口任意配置,但当本地运行多个客户端,端口必须不冲突
    4.3.3 Hessian端口必须指向Web容器的端口,比如8080
    4.3.4 Kafka,ActiveMQ和Tibco的地址和端口配置thunder-ext.properties,即ActiveMQ服务器地址。在xml里面 仍需配置端口,但任意配置,端口的作用是当本地运行多个客户端,端口作为唯一消息队列的区别码,端口必须不冲突

  • 4.4 Thunder发布/订阅功能(广播功能)
    4.4.1 Netty,Hessian是点对点的调用,Thunder采用Redis做发布/订阅功能(广播功能)。如果没配置Redis,Thunder将取注册中心的服务列表,采用循环(Round)方式进行广播
    4.4.2 Kakfa,ActivMQ和Tibco本身具有发布/订阅功能(广播功能)

  • 4.5 Thunder同步调用方法的超时
    4.5.1 Netty,Kafka,ActivMQ和Tibco支持每个调用方法的超时支持,如果在<thunder:reference timeout="xxx">里面没配置,那么会调用thunder.properties获取默认配置,也可以自定义thunder- ext.properties覆盖掉默认的配置
    4.5.2 Hessian受限于其本身技术,不支持每个调用方法的超时,但支持全局的超时机制

  • 4.6 Thunder监控
    4.6.1 Netty,Kafka,ActivMQ和Tibco支持后台监控
    4.6.2 Hessian受限于其本身技术,不支持后台监控

© 著作权归作者所有

共有 人打赏支持
Nepxion
粉丝 8
博文 1
码字总数 2411
作品 4
浦东
私信 提问
分布式RPC集成调用框架--Nepxion-Thunder

Thunder 参考博客:http://nepxion.iteye.com/ 1. 概要 2. 功能

Nepxion
2015/12/19
3.1K
1
Spring Cloud 服务注册与发现增强组件

关于作者 Neptune(微信:Nepxion),十多年Java EE从业经验,专注于Dubbo和SpringCloud等分布式微服务框架的研究和应用 前言 Spring Cloud如火如荼发展了好几年,作为一款基础的分布式微服务...

SpringCloud社区
06/30
0
0
分布式RPC服务框架--rpcx

rpcx是一个类似阿里巴巴 Dubbo 和微博 Motan 的分布式的RPC服务框架,基于Golang net/rpc实现。 与gRPC比较,完胜gRPC, 更不用说其它的"老"的RPC框架了。 谈起分布式的RPC框架,比较出名的是...

匿名
2017/01/31
6.1K
7
1991wangliang/tx-lcn

LCN分布式事务框架v4.0 "LCN并不生产事务,LCN只是本地事务的搬运工" 官方网址 www.txlcn.org 框架特点 支持各种基于spring的db框架 兼容SpringCloud、Dubbo、motan 使用简单,低依赖,代码完...

1991wangliang
2017/09/22
0
0
组件式 RPC 框架--grain

grain 是一个极简的、组件式的 RPC 框架,灵活且适合渐进学习,可与任何框架整合。同时包含(系统通用多线程模型与消息通讯、多对多关系的分布式锁、基于 Servlet 的 HTTP 框架、基于系统通用...

电霸儿
2017/11/17
116
1

没有更多内容

加载失败,请刷新页面

加载更多

Web安全之XSS攻击与防御小结

Web安全之XSS攻防 1. XSS的定义 跨站脚本攻击(Cross Site Scripting),缩写为XSS。恶意攻击者往Web页面里插入恶意Script代码,当用户浏览该页之时,嵌入其中Web里面的Script代码会被执行,从...

前端小攻略
20分钟前
1
0
JavaScript中的继承及实现代码

JS虽然不像是JAVA那种强类型的语言,但也有着与JAVA类型的继承属性,那么JS中的继承是如何实现的呢? 一、构造函数继承 在构造函数中,同样属于两个新创建的函数,也是不相等的 function Fn...

peakedness丶
24分钟前
1
0
记一次面试最常见的10个Redis"刁难"问题

导读:在程序员面试过程中Redis相关的知识是常被问到的话题。作为一名在互联网技术行业打击过成百上千名的资深技术面试官,本文作者总结了面试过程中经常问到的问题。十分值得一读。 Redis在...

小刀爱编程
36分钟前
13
0
TiDB Lab 诞生记 | TiDB Hackathon 优秀项目分享

本文由红凤凰粉凤凰粉红凤凰队的成员主笔,他们的项目 TiDB Lab 在本届 TiDB Hackathon 2018 中获得了二等奖。TiDB Lab 为 TiDB 培训体系增加了一个可以动态观测 TiDB / TiKV / PD 细节的动画...

TiDB
49分钟前
4
0
当区块链遇到零知识证明

本文由云+社区发表 当区块链遇到零知识证明 什么是零知识证明 零知识证明的官方定义是能够在不向验证者任何有用的信息的情况下,使验证者相信某个论断是正确的。这个定义有点抽象,下面笔者举...

腾讯云加社区
58分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部