文档章节

Hadoop中的RPC

Vegetable
 Vegetable
发布于 2017/08/08 15:29
字数 1261
阅读 15
收藏 0
点赞 1
评论 0

1. RPC的基础概念

  RPC,即Remote Procdure Call,中文名:远程过程调用;更详细内容可以转到RPC原理及RPC实例分析学习。

  (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的。因此,它经常用于分布式网络通信中。

RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

  (2)Hadoop的进程间交互都是通过RPC来进行的,比如Namenode与Datanode直接,Jobtracker与Tasktracker之间等。

因此,可以说:Hadoop的运行就是建立在RPC基础之上的。Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。

2. Hadoop中的RPC机制

  同其他RPC框架一样,Hadoop RPC分为四个部分:

  (1)序列化层:Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的Writable类型;

  (2)函数调用层:Hadoop RPC通过动态代理以及java反射实现函数调用;

  (3)网络传输层:Hadoop RPC采用了基于TCP/IP的socket机制;

  (4)服务器端框架层:RPC Server利用java NIO以及采用了事件驱动的I/O模型,提高RPC Server的并发处理能力;

  Hadoop RPC在整个Hadoop中应用非常广泛,Client、DataNode、NameNode之间的通讯全靠它了。例如:我们平时操作HDFS的时候,使用的是FileSystem类,它的内部有个DFSClient对象,这个对象负责与NameNode打交道。在运行时,DFSClient在本地创建一个NameNode的代理,然后就操作这个代理,这个代理就会通过网络,远程调用到NameNode的方法,也能返回值。

3. Hadoop RPC设计技术

(1)动态代理

(2)反射——动态加载类

(3)序列化

(4)非阻塞的异步IO(NIO)

4. Hadoop RPC实例

(1)Protocol

被远程访问的类,也就是Server端,必须实现VersionedProtocol接口,这个接口只有一个方法getProtocolVersion,用来判断Server和Client端调用的是不是一个版本的,一般Server的代码修改一次,版本号就得改一次。

在例子中,我们定义一个接口MyProtocol,继承VersionedProtocol,里面定义Server端需要实现的方法。

这里MyProtocol接口只有一个方法println,输入一个Text,打印出来,并返回一个Text。

MyProtocol.java代码如下:

import org.apache.hadoop.io.Text;
 import org.apache.hadoop.ipc.VersionedProtocol;
 
 public interface MyProtocol extends VersionedProtocol {
     public Text println(Text t);
 }

(2)Server

Server端实现上述的Protocol接口,里面需要启动一个RPC.Server,它是一个Thread。

构造方法是RPC.getServer(Object instance, String bindAddress, int port, Configuration conf)

  • instance:表示提供远程访问的对象,一般Server都会传入this作为参数;
  • bindAddress:Server绑定的ip地址;
  • port:Server绑定的端口;
  • conf:Configuration对象,不用解释了吧。

MyServer实现了MyProtocol接口中定义的println方法,将参数打印到控制台,并返回finish。

MyServer.java代码如下:

 import java.io.IOException;
 import java.net.UnknownHostException;
 
 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.ipc.RPC;
 import org.apache.hadoop.ipc.RPC.Server;
 
 public class MyServer implements MyProtocol{
     private Server server;
     
     public MyServer(){
         try {
             server = RPC.getServer(this, "localhost", 8888, new Configuration());
             server.start();
             server.join();
         } catch (UnknownHostException e) {
             e.printStackTrace();
         } catch (IOException e) {
             e.printStackTrace();
         } catch (InterruptedException e) {
             e.printStackTrace();
         }
     }
     
     @Override
     public Text println(Text t){
         System.out.println(t);
         return new Text("finish");
     }
 
     @Override
     public long getProtocolVersion(String protocol, long clientVersion) throws IOException {
         return 1;
     }
     
     public static void main(String[] args) {
         new MyServer();
     }
 
 }

(3)Client

Client端需要创建一个Server的远程代理,并可以通过操作这个代理,来调用到Server端的方法。

创建代理可以调用RPC.waitForProxy(Class protocol, long clientVersion, InetSocketAddress addr, Configuration conf)

  • protocol:一个Protocol的class,它必须是继承VersionedProtocol的接口;
  • clientVersion:客户端的版本号,如果与服务端不一致,则会抛错;
  • addr:一个InetSocketAddress对象,包含了ip和port;
  • conf:不解释。

这个方法会返回一个VersionedProtocol类型的代理对象,将它强制转型成自己定义的Protocol,接下来就可以操作创建好的代理了。在例子中,我们通过代理来让Server端打印字符串到控制台,并接受返回的消息。

MyClient.java代码如下:

 import java.io.IOException;
 import java.net.InetSocketAddress;
 
 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.ipc.RPC;
 
 public class MyClient {
     
     private MyProtocol proxy;
 
     public MyClient(){
         InetSocketAddress addr = new InetSocketAddress("localhost",8888);
         try {
             proxy = (MyProtocol) RPC.waitForProxy(MyProtocol.class, 1, addr , new Configuration());
         } catch (IOException e) {
             e.printStackTrace();
         }
     }
     
     public void println(String s){
         System.out.println(proxy.println(new Text(s)));
     }
 
     public void close(){
         RPC.stopProxy(proxy);
     }
     
     public static void main(String[] args) {
         MyClient c = new MyClient();
         c.println("123");
         c.close();
     }
 }

(4)运行

运行MyServer,控制台显示:

2011-12-30 18:49:56 -[INFO] Initializing RPC Metrics with hostName=MyServer, port=8888
2011-12-30 18:49:56 -[INFO] IPC Server listener on 8888: starting
2011-12-30 18:49:56 -[INFO] IPC Server Responder: starting
2011-12-30 18:49:56 -[INFO] IPC Server handler 0 on 8888: starting

运行MyClient,控制台显示:

finish

MyServer端会追加显示:

123

 

© 著作权归作者所有

共有 人打赏支持
Vegetable
粉丝 15
博文 41
码字总数 45932
作品 0
杭州
Hadoop实战-中高级部分 之 Hadoop RPC

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 ...

2k10 ⋅ 2015/03/23 ⋅ 0

Hadoop中RPC机制简介

RPC(Remote Procedure Call)—远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之...

wall--e ⋅ 2016/04/16 ⋅ 0

Hadoop中RPC机制详解之Client端

先看看这个吧, Hadoop 中 RPC 机制简介, Hadoop 中 RPC 机制的实现都在 org.apache.hadoop.ipc 这个包里, 下面都将围绕这个包解读 Hadoop RPC 机制 1. RPC.getServer(Object instance, Stri...

wall--e ⋅ 2016/05/05 ⋅ 0

模拟Hadoop底层实现RPC通信机制

最近研究Hadoop,发现Hadoop底层使用Hadoop RPC机制,为了进一步了解Hadoop底层代码,自己实现了一套RPC机制。 不同的地方是,我使用的传统的ServerSocket做的服务端。并没有使用nio中的知识...

毛祥溢 ⋅ 2013/08/15 ⋅ 0

hadoop 0.23 HDFS 的搭建与配置

hadoop 0.23.0比先前的0.20版本有了很大的改动,而我目前最感兴趣的还是HDFS部分的federation部分,由于相关配置资料比较少,下面就把这两天配置情况总结一下作为备忘: 要配置hdfs,关键要知...

鉴客 ⋅ 2011/12/07 ⋅ 4

Hadoop的RPC设计分析

  之前鼓捣Hbase的时候,觉得单机和伪分布式模式太low了,就在笔记本上用三个虚拟机搭建了一个“完全分布式”的Hbase环境(心疼破本子一秒钟)。刚好趁这个元旦假期,我就研究了一下Hadoop。...

大数据头条 ⋅ 01/04 ⋅ 0

ERROR: org.apache.hadoop.hbase.MasterNotRunnin...

ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 这是为什么呢,Master为什么没有启动起来呢? 查看logs目录下的Master日志,发现有以下信息: 2012-02-01 14:...

闵开慧 ⋅ 2012/09/01 ⋅ 0

Hadoop中RPC机制详解之Server端

Hadoop 中 RPC 机制详解之 Client 端 1. Server.Listener RPC Client 端的 RPC 请求发送到 Server 端后, 首先由 Server.Listener 接收 Server.Listener 类继承自 Thread 类, 监听了 OPREAD 和......

wall--e ⋅ 2016/05/05 ⋅ 0

Hadoop源码分析----RPC反射机制

有了Client 和Server,很自然就能RPC 啦。下面轮到RPC.java 啦。 一般来说,分布式对象一般都会要求根据接口生成存根和框架。如CORBA,可以通过IDL,生成存根和框架。但是,在 org.apache.h...

超人学院 ⋅ 2015/05/07 ⋅ 0

hadoop安全机制

1.背景 1.1 共享Hadoop集群 当前大一点的公司都采用了共享Hadoop集群的模式,这种模式可以减小维护成本,且避免数据过度冗余,增加硬件成本。共享Hadoop是指:(1)管理员把研发人员分成若干...

闵开慧 ⋅ 2012/09/21 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Cube、Cuboid 和 Cube Segment

1.Cube (或Data Cube),即数据立方体,是一种常用于数据分析与索引的技术;它可以对原始数据建立多维度索引。通过 Cube 对数据进行分析,可以大大加快数据的查询效率 2.Cuboid 在 Kylin 中特...

无精疯 ⋅ 37分钟前 ⋅ 0

github太慢

1:用浏览器访问 IPAddress.com or http://tool.chinaz.com 使用 IP Lookup 工具获得github.com和github.global.ssl.fastly.net域名的ip地址 2:/etc/hosts文件中添加如下格式(IP最好自己查一...

whoisliang ⋅ 38分钟前 ⋅ 0

非阻塞同步之 CAS

为解决线程安全问题,互斥同步相当于以时间换空间。多线程情况下,只有一个线程可以访问同步代码。这种同步也叫阻塞同步(Blocking Synchronization). 这种同步属于一种悲观并发策略。认为只...

长安一梦 ⋅ 49分钟前 ⋅ 0

云计算的选择悖论如何对待?

人们都希望在工作和生活中有所选择。但心理学家的调查研究表明,在多种选项中进行选择并不一定会使人们更快乐,甚至不会产生更好的决策。心理学家Barry Schwartz称之为“选择悖论”。云计算为...

linux-tao ⋅ 51分钟前 ⋅ 0

我的第一篇个人博客

虽然这是个技术博客,但是,我总是想写一些自己的东西,所有就大胆的在这里写下了第一篇非技术博客。技术博客也很久没有更新,个人原因。 以后自己打算在这里写一些非技术博客,可能个人观点...

Mrs_CoCo ⋅ 52分钟前 ⋅ 0

Redis 注册为 Windows 服务

Redis 注册为 Windows 服务 redis 注册为 windows 服务相关命令 注册服务 redis-server.exe –service-install redis.windows.conf 删除服务 redis-server –service-uninstall 启动服务 re......

Os_yxguang ⋅ 52分钟前 ⋅ 0

世界那么大,语言那么多,为什么选择Micropython,它的优势在哪?

最近国内MicroPython风靡程序界,是什么原因导致它这么火呢?是因为他功能强大,遵循Mit协议开源么? 错!因为使用它真的是太舒服了!!! Micropython的由来,这得益于Damien George这位伟大...

bodasisiter ⋅ 56分钟前 ⋅ 0

docker 清理总结

杀死所有正在运行的容器 docker kill $(docker ps -a -q) 删除所有已经停止的容器(docker rm没有加-f参数,运行中的容器不会删掉) docker rm $(docker ps -a -q) 删除所有未打 dangling 标...

vvx1024 ⋅ 今天 ⋅ 0

关于学习

以前学车的时候,教练说了这样的一句话:如果一个人坐在车上一直学,一直学,反而不如大家轮流着学。因为一个人一直学,就没有给自己留空间来反思和改进。而轮流着学的时候大家下来之后思考上...

mskk ⋅ 今天 ⋅ 0

压缩工具之gzip-bzip2-xz

win下常见压缩工具:rar zip 7z linux下常见压缩工具:zip gz bz2 xz tar.gz tar.bz2 tar.xz gzip 不支持目录压缩 gzip 1.txt #压缩。执行后1.txt消失,生成1.txt.gz压缩文件 gzip -d 1.txt....

ZHENG-JY ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部