文档章节

Supervisor分布式

tonyzheng007
 tonyzheng007
发布于 2014/06/11 08:33
字数 461
阅读 174
收藏 0
点赞 0
评论 0

##安装php5-xmlrpc扩展 sudo apt-get install php5-xmlrpc

##安装supervisor_twiddler sudo pip install -U supervisor_twiddler supervisor_twiddler这个包是supervisor的RPC的扩展,它允许supervisor的配置和状态在运行时可以被操纵

pip是python的包管理工具,如果没有装pip,可用sudo apt-get install python-pip进行安装

##配置supervisor 往supervisor.conf中加入下列 [rpcinterface:twiddler] supervisor.rpcinterface_factory = supervisor_twiddler.rpcinterface:make_twiddler_rpcinterface

改变supervisor.sock的权限,将默认的 [unix_http_server] file=/var/run/supervisor.sock ; (the path to the socket file) chmod=0700 ; sockef file mode (default 0700) 改为 [unix_http_server] file=/var/run/supervisor.sock ; (the path to the socket file) chmod=0766 ; sockef file mode (default 0700)

##配置config.php

  • define('REPO_PATH', '{repo_path}'); 代码路径,例如 : /var/www/campaign-portal
  • define('SUPERVISOR_SOCK', '{supervisor_sock}'); supervisor的sock地址,在supervisor.conf中supervisorctl块可以找到
  • define('SUPERVISOR_CONF', '{supervisor_conf}'); 生成work的配置文件地址,例如 : /etc/supervisor/conf.d/campaignportal.conf,同时需要更改这个文件的权限为777,使用命令sudo chmod 777 {supervisor_conf}
  • define('GROUP_NAME', '{group_name}'); 在{supervisor_conf}的文件末尾加上 [group:{group_name}] programs:{program_name}

##添加worker 进入目录{repo_path}/src/protected/ 输入命令php yiic resque addProgram --queue="email" --count=6 其中--queue表示监听的队列名, --count表示添加的worker的个数

##删除worker 进入目录{repo_path}/src/protected/ 输入命令`php yiic resque removeProgram --reserve=3 --queue="email" 其中--reserve表示保留的worker的个数, --queue可以指定队列名,若指定则表示保留监听队列{queue_name}的worker个数,若不指定--queue则默认表示所有队列

##测试发送邮件 分别用单台机器1个worker发送100条邮件,单台机器10个worker发送100条邮件,两台机器各10个worker发送100条邮件 (当用两台机器发送时,需将redis的地址配置成同一台机器即可) 测试结果: 单机器1worker耗时: 25s 单机器10worker耗时: 7s 两机器各10worker耗时: 4s

© 著作权归作者所有

共有 人打赏支持
tonyzheng007
粉丝 1
博文 3
码字总数 948
作品 0
浦东
程序员
1、storm的安装

1:在一台机器上安装,然后拷贝到其他机器上即可,分布式软件的安装都是这个套路,软件包和配置文件都是一样的,只是启动的时候,启动不同的模块就行了。 1、解压tar.gz包到指定目录 tar -z...

刘付kin ⋅ 2016/12/04 ⋅ 0

Storm集群搭建

Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等. Storm特点:(Storm类似手扶电梯,不出故障就会一直运行. hadoop类似升降电梯,...

迪allen ⋅ 2014/04/05 ⋅ 9

Apache Storm 0.9.4 发布,分布式实时计算

Apache Storm 0.9.4 发布了,这是一个维护版本,主要是一些重要的 bug 修复,提升了稳定性和容错,建议用户升级。 该版本改进内容包括: STORM-559: ZkHosts in README should use 2181 as ...

oschina ⋅ 2015/03/27 ⋅ 6

简单搭建Strom集群

Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等. Storm特点:(Storm类似手扶电梯,不出故障就会一直运行. hadoop类似升降电梯,...

蓝狐乐队 ⋅ 2014/05/12 ⋅ 0

apache-storm分布式计算(drpc)开发心得

首先这东西是个拼凑出来的东西,啥zookeeper,nimbus,supervisor,drpc,一个服务不能少。对于我来说一开始不是部署集群还可以,大致步骤是先装zookeeper,这东西运行起来后,你才能跑nimbu...

uaisunshine ⋅ 2015/03/27 ⋅ 2

Linux下MongoDB服务安装

Linux下MongoDB服务安装 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产...

OneTODO ⋅ 2016/11/01 ⋅ 0

elixir官方教程Mix与OTP(九) 分布式任务与配置

分布式任务与配置 我们的第一个分布式代码 同步/等待 分布式任务 路由层 测试过滤器与标签 应用环境与配置 总结 本章,我们将回到应用并添加一个路由层,它能让我们根据桶名来在节点之间分布请...

ljzn ⋅ 2016/08/12 ⋅ 0

storm (imooc)

分布式系统 当数据量大,且增长量很快时,把一个任务分给多个计算机去共同完成的计算机系统叫分布式系统。对外屏蔽多机的细节,只留一个对外接口 批处理(Hadoop)与流处理(storm) Storm原...

analanxingde ⋅ 2017/06/21 ⋅ 0

JStorm 2.2.1 发布,分布式计算系统

JStorm 2.2.1 发布,更新内容如下: 新功能 Performance is improved by 200%~300%, compared to Release 2.1.1 and 0.9.8.1 in several testing scenarios, while 120%~200% compared to Fl......

淡漠悠然 ⋅ 2017/01/10 ⋅ 2

(第8篇)实时可靠的开源分布式实时计算系统——Storm

流式计算解决方案-Storm 在Hadoop生态圈中,针对大数据进行批量计算时,通常需要一个或者多个MapReduce作业来完成,但这种批量计算方式是满足不了对实时性要求高的场景。 Storm是一个开源分布...

I加加 ⋅ 2017/03/14 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

js模拟栈和队列

栈和队列 栈:LIFO(先进后出)一种数据结构 队列:LILO(先进先出)一种数据结构 使用的js方法 1.push();可以接收任意数量的参数,把它们逐个推进队尾(数组末尾),并返回修改后的数组长度。 2....

LIAOJIN1 ⋅ 25分钟前 ⋅ 0

180619-Yaml文件语法及读写小结

Yaml文件小结 Yaml文件有自己独立的语法,常用作配置文件使用,相比较于xml和json而言,减少很多不必要的标签或者括号,阅读也更加清晰简单;本篇主要介绍下YAML文件的基本语法,以及如何在J...

小灰灰Blog ⋅ 33分钟前 ⋅ 0

IEC60870-5-104规约传送原因

1:周期循环2:背景扫描3:自发4:初始化5:请求6:激活7:激活确认8:停止激活9:停止激活确认10:激活结束11:远程命令引起的返送信息12:当地命令引起的返送信息13:文件传送20:响应总召...

始终初心 ⋅ 46分钟前 ⋅ 0

【图文经典版】冒泡排序

1、可视化排序过程 对{ 6, 5, 3, 1, 8, 7, 2, 4 }进行冒泡排序的可视化动态过程如下 2、代码实现    public void contextLoads() {// 冒泡排序int[] a = { 6, 5, 3, 1, 8, 7, 2, ...

pocher ⋅ 56分钟前 ⋅ 0

ORA-12537 TNS-12560 TNS-00530 ora-609解决

oracle 11g不能连接,卡住,ORA-12537 TNS-12560 TNS-00530 TNS-12502 tns-12505 ora-609 Windows Error: 54: Unknown error 解决方案。 今天折腾了一下午,为了查这个问题。。找了N多方案,...

lanybass ⋅ 今天 ⋅ 0

IDEA反向映射Mybatis

1.首先在pom文件的plugins中添加maven对mybatis-generator插件的支持 ` <!-- mybatis逆向工程 --><plugin><groupId>org.mybatis.generator</groupId><artifactId>mybatis-generator-ma......

lichengyou20 ⋅ 今天 ⋅ 0

4.10/4.11/4.12 lvm讲解 4.13 磁盘故障小案例

准备磁盘分区 fdisk /dev/sdb n 创建三个新分区,分别1G t 改变分区类型为8e 准备物理卷 pvcreate /dev/sdb1 pvcreate /dev/sdb2 pvcreate /dev/sdb3 pvdisplay/pvs 列出当前的物理卷 pvremo...

Linux_老吴 ⋅ 今天 ⋅ 0

zabbix 3.4安装

#已装好lamp环境 1.安装相关yum仓库 rpm -i http://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpm #tip:rpm -ql zabbix-release 看上面这个软件装了哪些东......

山月关 ⋅ 今天 ⋅ 0

Java的Excel导出工具类

首先在POM中引入需要的Jar <dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.47</version></dependency><dependency><groupId>o......

Kxvz ⋅ 今天 ⋅ 0

springboot 使用jsp

目录结构: 启动文件的Application必须在contorller文件的父级 文件路径在src/main/webapp下面 我的配置:前缀是/WEB-INF/jsp/ pom.xml需要加入tomcat-embed-jasper, 对jsp的支持的依赖 <de...

夜醒者 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部