文档章节

Phoenix + WebSocket分布式部署验证

A
 Aetherus
发布于 2018/03/08 00:12
字数 2490
阅读 1997
收藏 0

Phoenix + WebSocket分布式部署实验

前言

对于无状态的web服务,要做分布式部署相对比较简单,很多时候只要架一个反向代理就行。但是对于有状态的web服务,尤其是包含WebSocket成分的web应用,要做分布式部署一直是一个麻烦。传统做法是搞一个中间层,例如Redis之类的做pubsub,但是这样做就不得不改动源码。同时,系统复杂度也随之增加,运维的成本也相应提高。Erlang/Elixir这种“面向并发编程”的语言在这方面会不会高人一筹?Phoenix框架是否已经支持WebSocket的横向扩展了呢?下面我们就来做个实验。

资源

你可以去https://gitee.com/aetherus/gossipy下载本文涉及的源码。

目标

不添加其他服务(如Redis、RabbitMQ等),不改动项目源码,仅通过添加/修改配置文件来达到WebSocket服务的横向扩展。

实验器材

  • Ubuntu 16.04或其衍生发行版(我用的是Elementary OS Loki)
  • Docker
  • Docker compose
  • Elixir开发/运行环境
  • 一个最基本的Phoenix聊天室,不含数据库,不含assets,不含brunch。

安装发布工具

Elixir社区目前比较推荐的发布工具是Distillery(蒸馏器),这次实验就用它。

安装只需要在项目根目录的mix.exs里添加如下内容就行

defp deps do
  [
    {:distillery, "~> 1.5", runtime: false}   #<--- 这一行
  ]
end

这里的runtime: false表示distillery不会在web应用中用到,只在发布的时候用一下。
添加完后只需mix deps.get一下就行。

发布配置

首先让distillery生成一些最基本的发布配置:

$ mix release.init

你会看到项目根目录下多了个rel目录,里面只有一个空的plugins目录和一个config.exs文件。这个文件的配置用来发布到单台服务器已经足够了,但是要做集群还是不太够,因为我们要让各台服务器上的Phoenix应用能连起来相互通信。为此,我们需要给每个运行的实例一个名称(namesname)。

为了达到这个目的,我们需要一个vm.args文件。这个文件记录了Erlang启动虚拟机时所需的命令行参数。但是这个文件长啥样?我们现release一个,让它自动生成一个vm.args文件再说。

$ MIX_ENV=prod mix release --env=prod

这里的MIX_ENV=prod是指“用Phoenix的prod环境的配置来运行发布任务”,这样做可以使项目的编译得到优化,比如去除debug信息等。而--env=prod指的是“按rel/config.exs文件里:prod环境的配置去构建发布版”。这个prod和Phoenix的prod的意义完全不同,所以两个都不能少。

既然说到了rel/config.exs里定义的环境,就先看看它长什么样吧。

Path.join(["rel", "plugins", "*.exs"])
|> Path.wildcard()
|> Enum.map(&Code.eval_file(&1))

use Mix.Releases.Config,
    default_release: :default,
    default_environment: Mix.env()

environment :dev do
  set dev_mode: true
  set include_erts: false
  set cookie: :"<&9.`Eg/{6}.dwYyDOj>R6R]2IAK;5*~%JN(bKuIVEkr^0>jH;_iBy27k)4J1z=m"
end

environment :prod do
  set include_erts: true
  set include_src: false
  set cookie: :">S>1F/:xp$A~o[7UFp[@MgYVHJlShbJ.=~lI426<9VA,&RKs<RyUH8&kCn;F}zTQ"
end

release :gossipy do
  set version: current_version(:gossipy)
  set applications: [
    :runtime_tools
  ]
end

这就是一个完整的rel/config.exs文件内容(去掉了注释)。我们可以看到里面有个environment :prod块,还有一个environment :dev块,这两个块定义了两种不同的构建策略。这里比较重要的是set include_erts: true|false这一项。erts是“Erlang RunTime System”的缩写,也就是整个Erlang运行环境。如果把这一项设置成true,则打出来的包里包含整个Erlang运行环境,于是你的目标服务器上就可以不用装Erlang和Elixir了。

上述命令运行完后,会生成_build/prod/rel目录及其下面所有的文件。在这里面找到vm.args文件(具体位置忘了),把它复制到项目根目录下的rel目录里,稍事修改:

# 删除下面这一行
# -name gossipy@127.0.0.1
# 加入下面这一行
-sname gossipy

namesname的区别不多说了。因为到时候我们要部署到docker上去,用IP或全限定域名不方便,所以就用主机名。

改完vm.args之后,我们要让distillery认识这个改动过的vm.args。我们在rel/config.exs里加上一行:

environment :prod do
  ...
  set vm_args: "rel/vm.args"
end

除了这些,Distillery还要求在项目的config/prod.exs里加一些东西:

config :gossipy, GossipyWeb.Endpoint,
  ...
  check_origin: false,
  server: true,
  root: ".",
  version: Application.spec(:gossipy, :vsn)
  • check_origin: false只是做实验的时候图一时方便,正式上产品的时候千万不要加这一行。
  • server: true的意思是这是一个web server,所以要用Cowboy去启动,而不是直接从Application启动。
  • root: "."表示静态文件(CSS,JS之类)的根在哪儿。因为我们这次没有静态文件,所以不配也OK。
  • version是发布的版本号。它的值通过Application.spec(:gossipy, :vsn)获取,也就是mix.exs里那个版本号。

另外,我们需要在这个配置文件里列出所有的分布式节点:

config :kernel,
  sync_nodes_optional: [:"gossipy@ws1", :"gossipy@ws2"],
  sync_nodes_timeout: 10000

sync_nodes_optional是指“如果在sync_nodes_timeout指定的时间范围内没有连上指定的节点,则忽略那个节点”。与之相对的还有一个sync_nodes_mandatory选项。

最后,为了不让服务器因超时而主动切断WebSocket,我们需要在lib/gossipy_web/channels/user_socket.ex里加上一个配置,让WebSocket永不超时:

transport :websocket, Phoenix.Transports.WebSocket,
  timeout: :infinity  # <---这里,别忘了在上一行结尾加个逗号

所有配置都准备好后,先清除掉上次构建的发布版,再重新构建一次:

$ MIX_ENV=prod mix release.clean
$ MIX_ENV=prod mix release --env=prod

然后就可以准备部署了

创建Docker镜像

既然是部署到Docker,就要先创建一份Dockerfile,内容如下:

FROM ubuntu:xenial

EXPOSE 4000

ENV PORT=4000

RUN mkdir -p /www/gossipy && \
    apt-get update && \
    apt-get install -y libssl-dev

ADD ./_build/prod/rel/gossipy/releases/0.0.1/gossipy.tar.gz /www/gossipy

WORKDIR /www/gossipy

ENTRYPOINT ./bin/gossipy foreground

因为发布包内的Erlang运行环境要求服务器的OS和Distillery运行时的OS尽可能一样,所以这里就用Ubuntu 16.04的服务器版。端口设为4000(你喜欢其他端口号也OK)。由于WebSocket需要crypto.so,所以先装一下libssl-dev,否则应用起不来。把打包出来的tar包扔进镜像(docker会替你自动解压),当docker启动的时候把这个服务启动起来就是了。

为了能简化命令行命令,再建一个docker-compose.yml

version: '3.2'

services:
  ws1:
    build: .
    hostname: ws1
    ports:
      - 4001:4000

  ws2:
    build: .
    hostname: ws2
    ports:
      - 4002:4000

我定义了两个节点,分别将宿主的4001和4002端口NAT到了docker容器的4000端口。另外,这里显式声明了每个节点的主机名(hostname),方便和Phoenix应用对接。

一切OK后,docker-compose up

然后你就可以想办法搞两个WebSocket客户端(如果你不知道怎么搞的话,可以参考附录1),分别连接宿主服务器的4001和4002端口,加入同一个房间,然后你就能看见它们能对话了!

额外实验1. 杀节点

先杀掉ws2那个容器(端口4002)

$ docker-compose kill ws2

结果当然是连在ws2上的WebSocket连接全部断开,而ws1上的连接依然正常工作。ws2的连接中断很正常。在实际项目中,我们不会把一个web服务分在多个端口号上,而是公用一个源(协议 + 域名 + 端口),这样只要客户端实现了合理的重连机制,很快就能和别的活着的服务器建立连接。

然后我们再把ws2重新启动起来

$ docker-compose start ws2

重新建立和ws2的连接后,两台服务器上的连接又能正常通信了。

额外实验2. 添加节点

这次试的是在不重启现有服务器集群的前提下,向集群中添加服务器。

为此,我们先在docker-compose.yml中添加一个服务

  ws3:
    build: .                   
    hostname: ws3              
    ports:                     
      - 4003:4000

然后修改一下config/prod.exs,把新的节点加进去

config :kernel,
  sync_nodes_optional: [:"gossipy@ws1", :"gossipy@ws2", :"gossipy@ws3"],  #<---- 注意新加ws3
  sync_nodes_timeout: 10000

重新发布一下,并启动ws3容器

$ MIX_ENV=prod mix release.clean
$ MIX_ENV=prod mix release --env=prod
$ docker-compose up --build ws3

用浏览器测试相当成功!新加的节点马上就连上老节点, 老节点也立刻就认识新节点了。

结论

正如所料,Phoenix可以在不改动一行代码的情况下做到WebSocket的集群化。这就是Erlang/Elixir的特色之一——Location Transparency(位置透明)给我们带来的好处。单机运行代码和分布式运行代码完全一样!只是要用好这个位置透明,在没人手把手教你的情况下,你会尝试错误好几次。

附录1. 测试用HTML

<!doctype html>
<html> 
  <head>
    <meta charset="utf-8">
    <title>Phoenix Channel Demo</title>     
  </head>

  <body> 
    <pre id="messages"></pre>  

    <input id="shout-content"> 
  
    <script>
      window.onload = function () {   
        var wsPort = window.location.search.match(/\bport=(\d+)\b/)[1];
        var messageBox = document.getElementById('messages');
        var ws = new WebSocket('ws://localhost:' + wsPort + '/socket/websocket');
  
        ws.onopen = function () {       
          ws.send(JSON.stringify({        
            topic: 'room:1',
            event: 'phx_join',
            payload: {},
            ref: 0
          }));
        };

        ws.onmessage = function (event) {
          var data = JSON.parse(event.data);
          if (data.event !== 'shout') return;
          messageBox.innerHTML += data.payload.message + "\n"; 
        }

        document.getElementById('shout-content').onkeyup = function (event) {
          if (event.which !== 13) return; 
          if (!event.target.value) return;
          ws.send(JSON.stringify({        
            topic: "room:1",
            event: "shout",
            payload: {message: event.target.value},
            ref: 0
          }));
          event.target.value = '';
        };
      }
    </script>
  </body>
</html>

你可以用任何手段host它,使得浏览器能通过HTTP访问到它(用file://协议不行)。例如,你可以把它存入文件ws.html,然后用python -m SimpleHTTPServer来启动一个简易HTTP服务(默认端口号8000),然后用浏览器访问http://localhost:8000/ws.html?port=4001。这里的port参数指定连接到哪个WebSocket端口。

© 著作权归作者所有

A
粉丝 0
博文 9
码字总数 7345
作品 0
私信 提问
Phoenix 1.0.3 发布,Elixir 的 Web 开发框架

Phoenix 1.0.3 发布,此版本更新内容如下: 功能增强 [Controller] Transform FunctionClauseError's from controller actions into ActionClauseError, and send 400 response [Router] Al......

oschina
2015/09/29
1K
6
phoenixframework自动化测试平台模块介绍

phoenixframework 自动化测试平台,包含WEB、Mobile、接口、安全测试模块。通过对测试代码的动态编译,执行,进行测试。 网站:http://www.cewan.la 系统名称:自动化测试平台 系统介绍: 【...

孟飞阳
2015/06/13
0
0
[译] Elixir、Phoenix、Absinthe、GraphQL、React 和 Apollo:一次近乎疯狂的深度实践 —— 第二部分(测试相关部分)

原文地址:Elixir, Phoenix, Absinthe, GraphQL, React, and Apollo: an absurdly deep dive - Part 2 原文作者:Zach Schneider 译文出自:掘金翻译计划 本文永久链接:github.com/xitu/gol......

掘金翻译计划
05/22
0
0
PhoenixFramework自动化测试平台部署初始化说明

PhoenixFramework自动化测试平台部署初始化说明 孟飞阳 2015.6.30 平台官网:http://www.cewan.la, 模块说明 1、 phoenix_web.war:平台的控制端,管理平台的数据和各个node节点 2、 phoeni...

孟飞阳
2015/06/13
0
0
Phoenix三贴之一:Phoenix扫盲介绍贴

1 简介Introduction Apache Phoenix is a relational database layer over HBase delivered as a client-embedded JDBC driver targeting low latency queries over HBase data. Apache Phoe......

袁一涵
2018/05/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CenOS7安装Docker--yum安装

每次安装都要去看官方文档,比较烦。所以把官网的搬过来。官网链接:https://docs.docker.com/install/linux/docker-ce/centos/ #卸载已有的Dockersudo yum remove docker \ ...

RippleChan
1分钟前
0
0
SpringBoot2.0高级案例(07) 整合:Redis集群 ,实现消息队列场景

本文源码GitHub地址:知了一笑https://github.com/cicadasmile/middle-ware-parent 一、Redis集群简介 1、RedisCluster概念 Redis的分布式解决方案,在3.0版本后推出的方案,有效地解决了...

知了一笑
17分钟前
0
0
服务器常见问题和故障诊断排除

原创: AIX7 talkwithtrend x86 服务器常见问题和故障诊断排除 | 周末送资料 : https://mp.weixin.qq.com/s/Qe_KConoUS6UzIANxAKacw 注意 : x86是我们广为熟知的架构,在核心处理器基础上,...

寰宇01
23分钟前
0
0
Android Camera模块解析之拍照

最近学习Android的camera模块,本文先介绍一下camera2的api,然后给出android camera拍照的例子,讲解一下camera 拍照的原因知识,与大家共勉。 camera2 介绍 android camera拍照功能介绍 一...

天王盖地虎626
31分钟前
7
0
Excel 曝Power Query安全漏洞

近日,Mimecast 威胁中心的安全研究人员,发现了微软 Excel 电子表格应用程序的一个新漏洞,获致 1.2 亿用户易受网络攻击。其指出,该安全漏洞意味着攻击者可以利用 Excel 的 Power Query 查...

linuxCool
38分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部