文档章节

Hadoop中RPC机制简介

w
 wall--e
发布于 2016/04/16 20:54
字数 859
阅读 463
收藏 9

RPC(Remote Procedure Call)—远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。

Hadoop的整个体系结构就是构建在RPC之上的(见org.apache.hadoop.ipc包)

使用RPC: (搭建一个Hadoop伪分布式虚拟机(Server端), 本地Windows连接该虚拟机(Client端))


1. 定义RPC协议接口 LoginProtocol (Hadoop RPC协议通常是一个Java接口), RPC协议接口是Client和Server之间的通信接口, 它定义了Server对外提供的接口. LoginProtocol接口声明了一个login()方法, 需要注意的是Hadoop中所有自定义的RPC协议接口都有一个为versionID的字段, 它描述了该协议的版本信息, 这个RPC协议接口为Client/Server共同持有, Server端, Client端都必须有同一个LoginProtocol.class文件

 public interface LoginProtocol {
 public static final long versionID = 1L;
 public String login(String username, String password);
}

2. 在Server端, LoginProtocolImpl 实现RPC协议接口( LoginProtocol )

public class LoginProtocolImpl implements LoginProtocol {
 @Override
 public String login(String username, String password) {
  return "wellcome " + username;
 }
}

3. 在Server端构造并启动RPC Server, "192.168.8.101"是Server的ip地址, Server端监听了"1234"端口

public static void main(String[] args) throws HadoopIllegalArgumentException, IOException {
  // 设置4个必需参数:
  // setBindAddress("192.168.8.101") : Server端的IP地址
  // setPort(1234) : 端口
  // setProtocol(LoginProtocol.class) : setRPC协议接口的class对象
  // setInstance(new LoginProtocolImpl()) : RPC协议接口的实现类的实例
  Server server = new RPC.Builder(new Configuration()).setBindAddress("192.168.8.101").setPort(1234)
    .setProtocol(LoginProtocol.class).setInstance(new LoginProtocolImpl()).build();
  server.start();
}
}

4. 在Client端构造RPC客户端, 使用RPC类静态方法getProxy()构造客户端RPC代理对象( proxy ), 调用RPC代理对象( proxy )的login()方法, 发送RPC请求. "192.168.8.101"是Server的ip地址, "1234"Server端监听端口

public class LoginClient {
public static void main(String[] args) throws IOException {
  // getProxy()参数:
  // LoginProtocol.class : RPC协议接口的class对象
  // 1L : RPC协议接口的版本信息(versionID)
  // new InetSocketAddress("192.168.8.101", 1234) : Server端的IP地址及端口
  // conf : Configuration实例
  LoginProtocol proxy = RPC.getProxy(LoginProtocol.class, 1L, new InetSocketAddress("192.168.8.101", 1234),
    new Configuration());
  String result = proxy.login("rpc", "xxx");
  System.out.println(result);
 }
}

接下来, 神奇的一幕发生了!

本地Windows的Console输出:

wellcome rpc

本地Windows有LoginProtocol接口的实现吗? 

没有哟! 

至此, 利用Hadoop RPC搭建了一个简单的Client/Server分布式网络模型, 以后还会深入Hadoop RPC内部

© 著作权归作者所有

w
粉丝 7
博文 31
码字总数 25016
作品 0
东城
程序员
私信 提问
Hadoop中RPC机制详解之Client端

先看看这个吧, Hadoop 中 RPC 机制简介, Hadoop 中 RPC 机制的实现都在 org.apache.hadoop.ipc 这个包里, 下面都将围绕这个包解读 Hadoop RPC 机制 1. RPC.getServer(Object instance, Stri...

wall--e
2016/05/05
236
0
模拟Hadoop底层实现RPC通信机制

最近研究Hadoop,发现Hadoop底层使用Hadoop RPC机制,为了进一步了解Hadoop底层代码,自己实现了一套RPC机制。 不同的地方是,我使用的传统的ServerSocket做的服务端。并没有使用nio中的知识...

毛祥溢
2013/08/15
0
0
RPC的简单实现

RPC(Remote Procedure Call)—远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之...

wall--e
2016/05/14
309
3
Hadoop实战-中高级部分 之 Hadoop RPC

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 ...

2k10
2015/03/23
0
0
DataNode与Namenode的互动

DataNode与NameNode之间基本的通信就是rpc (1)登记,dataNode一经启动就应该主动与namenode 建立rpc连接,并向其登记,让Namenode知道有这么一个DataNode已经在位了。 (2)向NameNode发送...

天行自息
2018/11/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

PO BO VO DTO POJO DAO概念及其作用(附转换图)

J2EE开发中大量的专业缩略语很是让人迷惑,尤其是跟一些高手讨论问题的时候,三分钟就被人家满口的专业术语喷晕了,PO VO BO DTO POJO DAO,一大堆的就来了(听过老罗对这种现象的批判的朋友...

Airship
9分钟前
0
0
curses 管理插件

http://bbs.nga.cn/read.php?tid=9603776&rand=851

MtrS
今天
3
0
网站运营类指标

1 网站流量类指标 1.1 到达率 1.2 UV   UV即Unique Visitor,又称独立访客。UV是衡量用户“人数”的重要指标,反映了来到网站的用户“数量”。UV定义只跟时间有关。 1.3 Vist   Vist又称...

qwfys
今天
4
0
Commons-lang3提供的StopWatch执行时间监视器

Commons-lang3提供的StopWatch执行时间监视器, spring也提供了同样功能的工具 前言 我们如果要统计一段代码的执行时间:我们的办法是 public static void main(String[] args) {      ...

独钓渔
今天
2
0
Kernel 块设备驱动框架

1,总体架构: 块设备驱动框架是Linux设备最重要的框架之一,涉及内核的vfs,设备驱动模型等模块,是内核中异常复杂的一个框架。我们先看一下块设备设计的主要框架结构,先从总体上对块设备有...

yepanl
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部