文档章节

Storm高级原语(二) -- DRPC详解

超人学院
 超人学院
发布于 2015/05/27 17:50
字数 1299
阅读 703
收藏 0

Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型(CPU intensive)的计算任务。DRPC的stormtopology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。

DRPC其实不能算是storm本身的一个特性, 它是通过组合storm的原语stream、spout、bolt、 topology而成的一种模式(pattern)。本来应该把DRPC单独打成一个包的, 但是DRPC实在是太有用了,所以我们我们把它和storm捆绑在一起。

概览

Distributed RPC是由一个”DPRC服务器”协调(storm自带了一个实现)。DRPC服务器协调:① 接收一个RPC请求  ② 发送请求到storm topology  ③ 从storm topology接收结果  ④ 把结果发回给等待的客户端。从客户端的角度来看一个DRPC调用跟一个普通的RPC调用没有任何区别。比如下面是客户端如何调用RPC计算“reach”功能(function)的结果,reach方法的参数是: http://twitter.com

  

DRPCClient client =  new DRPCClient("drpc-host", 3772);

  

String result =  client.execute("reach", "http://twitter.com");

  

DRPC的工作流大致是这样的(重要☆):

客户端给DRPC服务器发送要执行的函数(function)的名字,以及这个函数的参数。实现了这个函数的topology使用DRPCSpout从DRPC服务器接收函数调用流,每个函数调用被DRPC服务器标记了一个唯一的id。 这个topology然后计算结果,在topology的最后,一个叫做ReturnResults的bolt会连接到DRPC服务器,并且把这个调用的结果发送给DRPC服务器(通过那个唯一的id标识)。DRPC服务器用那个唯一id来跟等待的客户端匹配上,唤醒这个客户端并且把结果发送给它。

LinearDRPCTopologyBuilder

Storm自带了一个称作LinearDRPCTopologyBuilder的topology builder,它把实现DRPC的几乎所有步骤都自动化了。这些步骤包括:

1、设置spout

2、把结果返回给DRPC服务器

3、给bolt提供有限聚合几组tuples的能力

来看一个简单的例子,下面是一个把输入参数后面添加一个”!”的DRPC topology的实现:

  

public static class  ExclaimBolt extends BaseBasicBolt {

  

    public void execute(Tuple tuple,  BasicOutputCollector collector) {

  

        String input = tuple.getString(1);

  

        collector.emit(new  Values(tuple.getValue(0), input + "!"));

  

    }

  

    public void  declareOutputFields(OutputFieldsDeclarer declarer) {

  

        declarer.declare(new  Fields("id", "result"));

  

    }

  

}

  

  

public static void  main(String[] args) throws Exception {

  

    LinearDRPCTopologyBuilder builder = new  LinearDRPCTopologyBuilder("exclamation");

  

    builder.addBolt(new ExclaimBolt(), 3);

  

    // ...

  

}

  

可以看出来,我们需要做的事情非常的少。创建LinearDRPCTopologyBuilder的时候,你需要告诉它你要实现的DRPC函数(DRPC function)的名字。一个DRPC服务器可以协调很多函数,函数与函数之间靠函数名字来区分。你声明的第一个bolt会接收一个两维tuple,tuple的第一个字段是request-id,第二个字段是这个请求的参数。LinearDRPCTopologyBuilder同时要求我们topology的最后一个bolt发送一个形如[id, result]的二维tuple:第一个field是request-id,第二个field是这个函数的结果。最后所有中间tuple的第一个field必须是request-id

在这里例子里面ExclaimBolt 简单地在输入tuple的第二个field后面再添加一个”!”,其余的事情都由LinearDRPCTopologyBuilder帮我们搞定:连接到DRPC服务器,并且把结果发回。

本地模式DRPC

DRPC可以以本地模式运行,下面就是以本地模式运行上面例子的代码:

  

LocalDRPC drpc = new LocalDRPC();

  

LocalCluster cluster = new  LocalCluster();

  

  

cluster.submitTopology("drpc-demo",  conf, builder.createLocalTopology(drpc));

  

  

System.out.println("Results for  'hello':" + drpc.execute("exclamation", "hello"));

  

  

cluster.shutdown();

  

drpc.shutdown();

  

首先你创建一个LocalDRPC对象,这个对象在进程内模拟一个DRPC服务器(这很类似于LocalCluster在进程内模拟一个Storm集群),然后创建LocalCluster对象在本地模式运行topology。LinearTopologyBuilder有单独的方法来创建本地的topology和远程的topology。在本地模式里面LocalDRPC对象不和任何端口绑定,所以我们的topology对象需要知道和谁交互,这就是为什么createLocalTopology方法接受一个LocalDRPC对象作为输入的原因。

把topology启动了之后,你就可以通过调用LocalDRPC对象的execute来调用RPC方法了

远程模式DRPC

在一个真实集群上面DRPC也是非常简单的,有三个步骤:

1、启动DRPC服务器

2、配置DRPC服务器的地址

3、提交DRPCtopology到storm集群里面去。

我们可以通过“bin/storm drpc”命令来启动DRPC服务器。

接着,你需要让你的storm集群知道你的DRPC服务器的地址。DRPCSpout需要这个地址从而可以从DRPC服务器来接收函数调用。这个可以配置在storm.yaml或者通过代码的方式配置在topology里面。通过storm.yaml配置是这样的:

  

drpc.servers:

  

  - "drpc1.foo.com"

  

  - "drpc2.foo.com"

  

最后,你通过StormSubmitter对象来提交DRPC topology(这个跟你提交其它topology没有区别)。如果要以远程的方式运行上面的例子,用下面的代码:

  

StormSubmitter.submitTopology("exclamation-drpc",  conf, builder.createRemoteTopology());

  

我们用createRemoteTopology方法来创建运行在真实集群上的DRPC topology。

更多精彩内容请关注:http://bbs.superwu.cn

关注超人学院微信二维码:

© 著作权归作者所有

超人学院
粉丝 115
博文 335
码字总数 388917
作品 0
昌平
CTO(技术副总裁)
私信 提问
加载中

评论(0)

storm翻译(3)Distributed RPC(分布式远程调用)

原文地址:http://storm.apache.org/documentation/Distributed-RPC.html 分布式RPC的目的是在storm进行大量的实时计算时,能够并行的调用storm上的函数。Storm topology可以将函数参数作为输...

岩之有理
2015/02/25
367
0
Storm同步调用之DRPC模型探讨

  摘要:Storm的编程模型是一个有向无环图,决定了storm的spout接收到外部系统的请求后,spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同...

刘洋intsmaze
2017/09/28
0
0
storm client command

最近在研究实时日志分析,storm确实不错,以下是命令参数: storm help Syntax: storm jar topology-jar-path class 运行jar包中类的主函数和指定的参数 Commands: activate storm activate ...

China_OS
2014/02/22
1.7K
0
Storm中数据的输入输出

转载请注明出处:http://blog.csdn.net/jmppok/article/details/17284817 概述 Storm是一个实时流处理系统,其中运行的是Topology。初学Storm的小伙伴可能会有这样的问题: 我写了Spout和Bol...

jmppok
2015/03/25
90
0
【Storm】Storm简介及Storm集群的安装部署

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86557602 1、Storm概述 (1)Storm简介 Storm最早是由BackType公司开发的实时...

魏晓蕾
2019/01/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

南宁哪里可以开清洁服务费发票-中国-新闻网

南宁哪里可以开清洁服务费发票【152 * 9б 28 * 21 б9】陈生,诚、信、合、作,保、真、售、后、保、障、长、期、有、效。adb的全称为Android Debug B...

17095420210
23分钟前
57
0
0228 我的潘多拉

我的潘多拉 从一个故事说起。<br />从前,有个Java程序员非常喜欢写程序,喜欢研究源码,读英文文档。但是它在一家小公司里工作,公司的技术栈很陈旧。<br /> <br />单个系统代码中含有很多的...

李福春carter
今天
18
0
OSChina 周六乱弹 —— 屁会不会传染病毒

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《ハレハレヤ(朗朗晴天)》- 猫瑾 手机党少年们想听歌,请使劲儿戳(这里) @空格...

小小编辑
今天
77
1
两个值得注意的问题

对成员变量的操作只能放在方法中,方法可以对成员变量和方法体中自己定义的局部 变量进行操作.在定义类的成员变量时可以同时赋予初值,如 class A { int a=12; float b=12.56f; } 但是不可以这...

咔啡
今天
27
0
第三章 分布式服务框架的选择

1.大项目工程且多人维护的弊端 (1)项目团队协同成本高,业务响应越来越慢 (2)应用复杂度已超出人的认知负载(向杂乱的电线一样) (3)错误难于隔离(一个模块出错,整个系统挂掉) (4...

zxx901221
今天
68
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部