文档章节

Swoole大数据量传输解决方案

sharpcx
 sharpcx
发布于 2018/05/18 18:18
字数 515
阅读 1.2K
收藏 5

Swoole大数据量传输解决方案

问题:要不压缩的情况下,在Swoole TCP中传输大量数据length>1M
首先用node的mockjs生成一个大于1M的文件

	var jsonfile = require('jsonfile')
	var file = './data.json'
	let fs = require("fs");
	var Mock = require('mockjs')
	
	function injectContentTofileUntil(fileSizeInMega) {
	    let obj = jsonfile.readFileSync(file)
	    console.log(obj)
	    if(!obj){
	        obj=[]
	    }
	
	    for (let index = 0; index < 1000; index++) {
	        obj.push({
	            name: Mock.Random.cname(),
	            country: Mock.Random.county(true),
	        })
	    }
	
	    jsonfile.writeFileSync(file, obj)
	    let fileSizeInMegabytes = getFileSizeInMega(file)
	    if (fileSizeInMegabytes >= fileSizeInMega) {
	        return true
	    } else {
	        return false
	    }
	}
	
	function getFileSizeInMega(filePath) {
	    let stats = fs.statSync(file)
	    let fileSizeInBytes = stats.size
	    let fileSizeInMegabytes = fileSizeInBytes / 1000000.0
	    return fileSizeInMegabytes
	}
	
	while (!injectContentTofileUntil(1)) {
	    console.log(getFileSizeInMega(file));
	}

该文件为大于1M的无序文件,在不使用压缩的情况下传输该文件到server端。

1.正常起server和client传输

Server.php

	error_reporting(0);
	$client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_ASYNC);
	$filePath = realpath(__DIR__ . '/./jstools/data.json');
	$fileContent = file_get_contents($filePath);
	
	$client->on("connect", function ($cli) {
	    global $fileContent;
	    $cli->send($fileContent);
	});
	$client->on("receive", function ($cli, $data) {
	    echo "received: {$data}\n";
	});
	$client->on("error", function ($cli) {
	    echo "connect failed\n";
	});
	$client->on("close", function ($cli) {
	    echo "connection close\n";
	});
	$client->connect("127.0.0.1", 8091, 0.5);

Client.php

	$server = new swoole_server("0.0.0.0", 8081);
	$server->on('connect', function ($server, $fd){
	    echo "connection open: {$fd}\n";
	});
	$server->on('receive', function ($server, $fd, $reactor_id, $data) {
	    echo "received:" . $data;
	    $server->close($fd);
	    file_put_contents('./response.json', $data);
	});
	$server->on('close', function ($server, $fd) {
	    echo "connection close: {$fd}\n";
	});
	$server->start();

执行命令
php server.php
php client.php
报错:
WARNING swReactor_write (ERROR 1201): data is too large, cannot exceed buffer size.
原因:
buffer不足溢出

2.修改buffer不足问题

设置client最大buffer:
"socketbuffersize"=>210241024,

报错:
2018-05-18 17:46:09 *6146.0 ERROR swWorker_discard_data (ERROR 1007): 1received the wrong data8180 bytes from socket#1

原因:
当swoole接收到满足buffer大小的内容时会自动结束传输,已经把数据给消费者,但是数据并没有传输完成,此时有几种方案解决该问题:

  • 1.压缩
  • 2.告诉swoole到达buffer大小时还没传输结束,本文只讨论此方案

3.实现数据传输切分

server设置:

	'package_eof' => "\r\n\r\n",
	'open_eof_split' => true,

client设置:

	'package_eof' => "\r\n\r\n",

可以正常传输。

4.此方案优缺点:

优点:可以正常传输任意大小数据
缺点:需要手动给流增加eof
字段含义请自行查阅swoole文档。

代码地址:https://gitee.com/sharpcx/swoole_big_str

© 著作权归作者所有

sharpcx
粉丝 23
博文 11
码字总数 10082
作品 0
海淀
程序员
私信 提问
加载中

评论(0)

PHP开发者年会

2018第二届PHP年会,旨在为PHP程序员、架构师解决大数据、分布式、微服务和服务治理的过程中,可能会遇到的各种问题,以及解决方案。本期大会将力争借助广大同仁一如既往的积极参与和支持,将...

mjc199252
2018/11/06
197
0
PHP开发者年会

2018第二届PHP年会,旨在为PHP程序员、架构师解决大数据、分布式、微服务和服务治理的过程中,可能会遇到的各种问题,以及解决方案。本期大会将力争借助广大同仁一如既往的积极参与和支持,将...

mjc199252
2018/11/06
164
0
LumiSoft.Net.TCP通讯传输图片的问题

using LumiSoft.Net.TCP; // ----------------- 注 该操作在线程中完成 TCP_Client tcpClient = new TCP_Client(); // 发生消息包 tcpClient.TcpStream.Write(byte[] buffer, offset, count......

loongchao
2012/06/07
1.9K
11
swoole项目思维转换 -- mysql server gone away

mysql做为php的黄金搭档和互联网上应用最广泛的数据库,免不了天天与之打交道,不少朋友在熟悉swoole的使用之后,也趟平了不少坑,准备实战了,终于上线了,正愉快的体验swoole带来的巨大改进...

杨太化
2015/10/15
393
0
Swoole Framework - SOA实现

Swoole Framework - SOA 最近由于业务关系某些模块需要分类,在此之前考虑过使用鸟哥的Yar,好处是在写服务端的同时,所做的注释可以在直接访问时,直接已文档形式呈现,而且在windows与Lin...

太阳黑子
2016/10/30
166
0

没有更多内容

加载失败,请刷新页面

加载更多

Mysql 查询天、周,月,季度、年的数据

今天 select * from 表名 where to_days(时间字段名) = to_days(now()); 昨天 SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) - TO_DAYS( 时间字段名) <= 1 近7天 SELECT * FROM 表名 where DA......

sp_lucky
22分钟前
16
0
java函数式编程Lambda基础 几Stream

java函数式编程Lambda基础 LambdaJava 8引入了Lambda语法,用以简化单抽象方法接口的实现 Lambda语法实现了类型自动推断 只定义了单个(只有一个抽象方法)抽象方法接口被称为函数式接口,标注...

ossea
24分钟前
14
0
异步爬虫+asyncio+python3.7+(async + await )

import asyncio import json import time import traceback import aiohttp import logging from aiohttp import ContentTypeError from motor.motor_asyncio import AsyncIOMotorClient log......

丁典
28分钟前
12
0
项目讲解4

分组取topN的方法: 数据的预处理为使用mapreduce 每日新访客: 回头/单次访客统计: 漏斗模型: 使用python产生数据 1.统计每个步骤的总访问人数 create table tmp_page_views like ods_web...

七宝1
55分钟前
67
0
笔记:pyecharts可视化

# 加载数据import pandas as pddf = pd.read_excel(r"D:\我的文档\数据源\采购商品出库综合查询 - Python.xlsx",header = 2)df # 计算出结果df1 = df.groupby(["部门"])["总销售额"......

tengyulong
今天
86
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部