文档章节

Swoole大数据量传输解决方案

sharpcx
 sharpcx
发布于 2018/05/18 18:18
字数 515
阅读 539
收藏 5

Swoole大数据量传输解决方案

问题:要不压缩的情况下,在Swoole TCP中传输大量数据length>1M
首先用node的mockjs生成一个大于1M的文件

	var jsonfile = require('jsonfile')
	var file = './data.json'
	let fs = require("fs");
	var Mock = require('mockjs')
	
	function injectContentTofileUntil(fileSizeInMega) {
	    let obj = jsonfile.readFileSync(file)
	    console.log(obj)
	    if(!obj){
	        obj=[]
	    }
	
	    for (let index = 0; index < 1000; index++) {
	        obj.push({
	            name: Mock.Random.cname(),
	            country: Mock.Random.county(true),
	        })
	    }
	
	    jsonfile.writeFileSync(file, obj)
	    let fileSizeInMegabytes = getFileSizeInMega(file)
	    if (fileSizeInMegabytes >= fileSizeInMega) {
	        return true
	    } else {
	        return false
	    }
	}
	
	function getFileSizeInMega(filePath) {
	    let stats = fs.statSync(file)
	    let fileSizeInBytes = stats.size
	    let fileSizeInMegabytes = fileSizeInBytes / 1000000.0
	    return fileSizeInMegabytes
	}
	
	while (!injectContentTofileUntil(1)) {
	    console.log(getFileSizeInMega(file));
	}

该文件为大于1M的无序文件,在不使用压缩的情况下传输该文件到server端。

1.正常起server和client传输

Server.php

	error_reporting(0);
	$client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_ASYNC);
	$filePath = realpath(__DIR__ . '/./jstools/data.json');
	$fileContent = file_get_contents($filePath);
	
	$client->on("connect", function ($cli) {
	    global $fileContent;
	    $cli->send($fileContent);
	});
	$client->on("receive", function ($cli, $data) {
	    echo "received: {$data}\n";
	});
	$client->on("error", function ($cli) {
	    echo "connect failed\n";
	});
	$client->on("close", function ($cli) {
	    echo "connection close\n";
	});
	$client->connect("127.0.0.1", 8091, 0.5);

Client.php

	$server = new swoole_server("0.0.0.0", 8081);
	$server->on('connect', function ($server, $fd){
	    echo "connection open: {$fd}\n";
	});
	$server->on('receive', function ($server, $fd, $reactor_id, $data) {
	    echo "received:" . $data;
	    $server->close($fd);
	    file_put_contents('./response.json', $data);
	});
	$server->on('close', function ($server, $fd) {
	    echo "connection close: {$fd}\n";
	});
	$server->start();

执行命令
php server.php
php client.php
报错:
WARNING swReactor_write (ERROR 1201): data is too large, cannot exceed buffer size.
原因:
buffer不足溢出

2.修改buffer不足问题

设置client最大buffer:
"socketbuffersize"=>210241024,

报错:
2018-05-18 17:46:09 *6146.0 ERROR swWorker_discard_data (ERROR 1007): 1received the wrong data8180 bytes from socket#1

原因:
当swoole接收到满足buffer大小的内容时会自动结束传输,已经把数据给消费者,但是数据并没有传输完成,此时有几种方案解决该问题:

  • 1.压缩
  • 2.告诉swoole到达buffer大小时还没传输结束,本文只讨论此方案

3.实现数据传输切分

server设置:

	'package_eof' => "\r\n\r\n",
	'open_eof_split' => true,

client设置:

	'package_eof' => "\r\n\r\n",

可以正常传输。

4.此方案优缺点:

优点:可以正常传输任意大小数据
缺点:需要手动给流增加eof
字段含义请自行查阅swoole文档。

代码地址:https://gitee.com/sharpcx/swoole_big_str

© 著作权归作者所有

共有 人打赏支持
sharpcx
粉丝 2
博文 6
码字总数 3333
作品 0
海淀
程序员
私信 提问
PHP开发者年会

2018第二届PHP年会,旨在为PHP程序员、架构师解决大数据、分布式、微服务和服务治理的过程中,可能会遇到的各种问题,以及解决方案。本期大会将力争借助广大同仁一如既往的积极参与和支持,将...

mjc199252
2018/11/06
0
0
LumiSoft.Net.TCP通讯传输图片的问题

using LumiSoft.Net.TCP; // ----------------- 注 该操作在线程中完成 TCP_Client tcpClient = new TCP_Client(); // 发生消息包 tcpClient.TcpStream.Write(byte[] buffer, offset, count......

loongchao
2012/06/07
1K
11
swoole项目思维转换 -- mysql server gone away

mysql做为php的黄金搭档和互联网上应用最广泛的数据库,免不了天天与之打交道,不少朋友在熟悉swoole的使用之后,也趟平了不少坑,准备实战了,终于上线了,正愉快的体验swoole带来的巨大改进...

杨太化
2015/10/15
182
0
Swoole Framework - SOA实现

Swoole Framework - SOA 最近由于业务关系某些模块需要分类,在此之前考虑过使用鸟哥的Yar,好处是在写服务端的同时,所做的注释可以在直接访问时,直接已文档形式呈现,而且在windows与Lin...

太阳黑子
2016/10/30
89
0
基于 Swoole 的内网穿透 - YurunProxy

首先感谢 Swoole 为我们广大 phper 带来第二春,可以非常方便地开发各种网络通信应用! YurunProxy 是基于 Swoole 的内网穿透,支持本地微信开发、Web开发,让外网能够访问到! 这是宇润这周...

宇润
2018/02/11
1
0

没有更多内容

加载失败,请刷新页面

加载更多

node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
25分钟前
1
0
eclipse中项目svn转gitLab全过程

在工作中,我们可能会遇到项目从svn迁移到gitLab;此过程我们需要变化版本管理工具,上传代码。本篇博客记录了使用spring tool suit(sts/eclipse)进行项目迁移的全过程。 步骤: (1)端口之...

em_aaron
今天
2
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
1
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0
看了一下Maven的内容

了解了Maven其实是一个跨IDE的标准构建工具,能推广的原因估计是借了仓库的便利。 另一个作用是可以通过Maven的功能在社区版的IDEA去创建Web项目,下次实践看看

max佩恩
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部