阿里巴巴Dubbo实现的源码分析[转]

原创
2016/10/28 15:13
阅读数 250

1.      Dubbo概述

Dubbo是阿里巴巴开源出来的一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及作为SOA服务治理的方案。它的核心功能包括:

#remoting:远程通讯基础,提供对多种NIO框架抽象封装,包括“同步转异步”和“请求-响应”模式的信息交换方式。

#Cluster: 服务框架核心,提供基于接口方法的远程过程调用,包括多协议支持,并提供软负载均衡和容错机制的集群支持。

#registry: 服务注册中心,使服务消费方能动态的查找服务提供方,使地址透明,使服务提供方可以平滑增加或减少机器。

由于Dubbo团队的文档和代码都非常优秀,所以更多关于dubbo的方方面面

这里我们只是补充一下从源码具体实现角度来看的某些细节方面,包括Invoker、ExtensionLoader等方面。任何官方已经介绍过的细节,我们不做画蛇添足,官方文档已经足够详实了,这篇文档的定位是补充实现的相关细节,是基于我在往Dubbo添加web service协议过程中,所碰到过的一些困难。 

 

2. 服务提供者暴露一个服务的详细过程



 上图是服务提供者暴露服务的主过程:

首先ServiceConfig类拿到对外提供服务的实际类ref(如:HelloWorldImpl),然后通过ProxyFactory类的getInvoker方法使用ref生成一个AbstractProxyInvoker实例,到这一步就完成具体服务到Invoker的转化。接下来就是Invoker转换到Exporter的过程。

Dubbo处理服务暴露的关键就在Invoker转换到Exporter的过程(如上图中的红色部分),下面我们以Dubbo和RMI这两种典型协议的实现来进行说明:

 

Dubbo的实现

Dubbo协议的Invoker转为Exporter发生在DubboProtocol类的export方法,它主要是打开socket侦听服务,并接收客户端发来的各种请求,通讯细节由Dubbo自己实现。

 

RMI的实现

RMI协议的Invoker转为Exporter发生在RmiProtocol类的export方法,它通过Spring或Dubbo或JDK来实现RMI服务,通讯细节这一块由JDK底层来实现,这就省了不少工作量。

 

3. 服务消费者消费一个服务的详细过程



 上图是服务消费的主过程:

首先ReferenceConfig类的init方法调用Protocol的refer方法生成Invoker实例(如上图中的红色部分),这是服务消费的关键。接下来把Invoker转换为客户端需要的接口(如:HelloWorld)。

关于每种协议如RMI/Dubbo/Web service等它们在调用refer方法生成Invoker实例的细节和上一章节所描述的类似。

 

4. 满眼都是Invoker

 

由于Invoker是Dubbo领域模型中非常重要的一个概念,很多设计思路都是向它靠拢。这就使得Invoker渗透在整个实现代码里,对于刚开始接触Dubbo的人,确实容易给搞混了。

     下面我们用一个精简的图来说明最重要的两种Invoker:服务提供Invoker和服务消费Invoker:


 

为了更好的解释上面这张图,我们结合服务消费和提供者的代码示例来进行说明:

#服务消费者代码

public class DemoClientAction {

    private DemoService demoService;

    public void setDemoService(DemoService demoService) {

        this.demoService = demoService;

}

    public void start() {

              String hello = demoService.sayHello("world" + i);

     }

}

       上面代码中的’DemoService’就是上图中服务消费端的proxy,用户代码通过这个proxy调用其对应的Invoker(DubboInvoker、 HessianRpcInvoker、 InjvmInvoker、 RmiInvoker、 WebServiceInvoker中的任何一个),而该Invoker实现了真正的远程服务调用。

 

#服务提供者代码

public class DemoServiceImpl

  implements DemoService

{

  public String sayHello(String name) throws RemoteException

  {

    return "Hello " + name;

  }

}

 

      上面这个类会被封装成为一个AbstractProxyInvoker实例,并新生成一个Exporter实例。这样当网络通讯层收到一个请求后,会找到对应的Exporter实例,并调用它所对应的AbstractProxyInvoker实例,从而真正调用了服务提供者的代码。

Dubbo里还有一些其他的Invoker类,但上面两种是最重要的。

 

5. ExtensionLoader的完整分析

 

ExtensionLoader是Dubbo中一个非常重要的类,刚接触Dubbo源码的人看这个类的时候也多少会有点困惑,这个类非常重要,它就像是厨房里的“大厨”,按照用户的随时需要把各种“食材”烹调出来。

我们结合具体代码详细说一下ExtensionLoader的实现,下面是ServiceConfig类里的一行代码:

private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();

       上面代码的程序流程图如下所示(假定是第一次执行这行代码):



 在这个过程中最重要的两个方法是getExtensionClasses和createAdaptiveExtensionClass(图中红色部分),下面详细对这两个方法进行分析:

getExtensionClasses

这个方法主要读取META-INF/services/目录下对应文件内容,在本示例代码中,是读取META-INF/services/com.alibaba.dubbo.rpc.Protocol文件中的内容,具体内容如下:

com.alibaba.dubbo.registry.support.RegistryProtocol

com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper

com.alibaba.dubbo.rpc.protocol.ProtocolListenerWrapper

com.alibaba.dubbo.rpc.protocol.dubbo.DubboProtocol

com.alibaba.dubbo.rpc.protocol.injvm.InjvmProtocol

com.alibaba.dubbo.rpc.protocol.rmi.RmiProtocol

com.alibaba.dubbo.rpc.protocol.hessian.HessianProtocol

com.alibaba.dubbo.rpc.protocol.webservice.WebServiceProtocol

它分析该文件中的每一行(每一行对应一个类),分析这些类,如果发现有哪个类的Annotation是@Adaptive,则找到对应的AdaptiveClass了,但由于Protocol文件里没有哪个类的Annotation是@Adaptive,所以在这个例子中该方法没找到对应的AdaptiveClass。

createAdaptiveExtensionClass

该方法是在getExtensionClasses方法找不到AdaptiveClass的情况下被调用,该方法主要是通过字节码的方式在内存中新生成一个类,它具有AdaptiveClass的功能,Protocol就是通过这种方式获得AdaptiveClass类的。

   AdaptiveClass类的作用是能在运行时动态判断具体是要调用哪个类的方法,更多关于AdaptiveClass的内容请参考Dubbo官方文档。

  • 项目核心代码结构截图

    1. 1. 使用阿里巴巴Druid连接池(高效、功能强大、可扩展性好的数据库连接池、监控数据库访问性能、支持Common-Logging、Log4j和JdkLog,监控数据库访问)
    1.  

      2. 提供高并发JMS消息处理机制
      3. 所有功能模块化、所有模块服务化、所有服务原子化的方式,提供可拓展的服务模型,使程序稳定运行,永不宕机
      4. 提供Wink Rest、Webservice服务,故可作为独立服务平台部署

      框架整合:

      Springmvc + Mybatis + Shiro(权限) + REST(服务) + WebService(服务) + JMS(消息) + Lucene(搜搜引擎) + Quartz(定时调度) + Bootstrap Html5(支持PC、IOS、Android)

      框架简介:

     

    项目Maven构建,真实大型互联网架构,做到高并发,大数据处理,整个项目使用定制化服务思想,提供模块化、服务化、原子化的方案,将功能模块进行拆分,可以公用到所有的项目中。架构采用分布式部署架构,所有模块进行拆分,使项目做到绝对解耦,稳定压倒一切~~

     

    持续集成:

    1. 我的待办工作流服务(提供Webservice服务)

    2. 我的待办工作流集成JMS消息服务(支持高并发,可支持成千上万系统集成)

    3. 我的任务提供Rest服务,完成日常的工作管理,通过定时调度平台,动态生成我的任务、循环周期任务、定时邮催提醒完成任务等

    4. 文件上传、多线程下载服务化、发送邮件、短信服务化、部门信息服务化、产品信息服务化、信息发布服务化、我的订阅服务化、我的任务服务化、公共链接、我的收藏服务化等

    系统模块:

     1.  用户管理:

          用户信息管理(添加、删除、修改、用户授权、用户栏目管理、查询等)

          用户组管理(添加、删除、修改、用户组栏目授权,栏目授权、查询、用户组人员添加查询等)

          用户角色管理(添加、删除、修改、用户角色授权、用户角色栏目信息查询设置等)
     2.  文章管理:

          栏目管理:查询无限极栏目树、创建无限极栏目树分类(导航栏目、图片列表栏目、文章列表栏目、文章内容栏目等)、删除、修改栏目信息。

          文章管理:创建、删除、修改文章,多维度文章查询,包括已发布、未发布、所有文章等。文章富文本编辑器、文章多文件上传、文章状态控制等。
    3.  系统设置:

           数据字典管理:支持中、英文信息,支持无限级别分类配置,动态控制是否可用等。

           部门信息管理:支持中、英文无限级别部门信息增加,删除,修改操作,部门列表、树心查询等。

           日志管理:系统日志列表查询、在线查看、在线下载等

           路线管理:集成百度地图API,提供线路查询管理功能

           Druid Monitor(监控):集成阿里巴巴连接池,提供在线连接池监控程序,包括:数据源、SQL监控、URL监控、Session监控、Spring监控等

           网站信息管理:通过系统配置文件进行网站内容操作,包括邮件服务器配置、公司基本信息配置等。

     4.  集成REST服务,可以用作独立服务平台(提供大量实例及测试平台,包括:文件上传下载、邮件短信发送、部门、产品、公共连接、我的收藏、我的任务、信息发布等)

     5.  集成Quartz调度,可以用作定时调度平台(动态配置调度类、调度时间,使程序自动执行某些业务)

     6.  Lucene搜索引擎,可以将文件资料索引化,支持文件内容搜索、关键字搜索、高亮关键字等,使信息在毫秒内提取查询出来

     7.  用户设置功能:包括修改用户信息,修改密码、发送消息,修改个人图片,查看角色、查看用户组,管理员修改角色、用户、用户组等。

     8.  集成Webservice平台,包括jaxws服务、CXF框架,配置双加密的权限认证。使服务集成更加安全。

  •  

     

     9.  Bootstrap html5提供了两套前台开环境,包括CMS和电子商务网站,使您的开发更加的简洁。

    技术点:

    1.  Springmvc + Mybatis集成、SpringSecurity权限控制、Spring AOP事务处理。

    2.   Wink Rest服务、Webservice服务:jaxws、CXF等

    3.  IO 流上传下载文件,多线程操作

    4.  发送邮件,配置邮件服务器,发基于html、纯文本格式的邮件

    5.  MD5加密 (登陆密码校验加密等),用户统一Session、Cookie管理,统一验证码校验等。

    6.  数据库连接池统一配置 

    7.  Quartz定时调度任务集成(直接通过配置即可)

    8.  Httpclient破解验证码,登陆联通充值平台

    9.  汉字、英文拆分、可以用作文档关键字搜索等。

    10.  Base64图片处理,支持PC,Android,IOS

    11.  Service Socket 、Client Socket 通信技术(已经做过GPRS数据获取,并用到了项目中)

    12.  提供大量工具类,可以直接使用

    13.  Maven项目构建,您可以直接做架构,可以提升自己的学习能力,使您成为真正的架构师。

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客
     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客
     

     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客
     

     Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客
     

    Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

     Springmvc+mybatis+shiro框架整合 高并发 大数据 bootstrap ehcache 企业级应用 - zookeeperkafka - zookeeperkafka的博客

展开阅读全文
打赏
0
4 收藏
分享
加载中
2016/10/28 15:13
举报
更多评论
打赏
1 评论
4 收藏
0
分享
返回顶部
顶部