文档章节

如何解决PHP里大量数据循环时内存耗尽的问题

snowing1990
 snowing1990
发布于 2016/03/07 13:00
字数 712
阅读 21
收藏 0

在开发一个PHP程序时我们有时会遇到了下面的错误:

代码如下: PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted

错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但转眼一想,也不奇怪,因为我正在开发的这个程序是要用一个foreach循环语句在一个有4万条记录的表里全表搜索具有特定特征的数据,也就是说,一次要把4万条数据取出,然后逐条检查每天数据。可想而知,4万条数据全部加载到内存中,内存不爆才怪。

毕竟编程这么多年,我隐约记得PHP里提供有非一次全部加载数据的API,是像处理流媒体那样,随用随取随丢、数据并不会积累在内存的查询方法。经过简单的搜索,果然在官方网站上找到的正确的用法。

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。 PHP的查询缺省模式是缓冲模式。也就是说,查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能,比如说,计算行数,将 指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存,也就是用空间换速度。

相对的,另外一种PHP查询模式是非缓冲查询,数据库服务器会一条一条的返回数据,而不是一次全部返回,这样的结果就是PHP程序消耗较少的内存,但却增加了数据库服务器的压力,因为数据库会一直等待PHP来取数据,一直到数据全部取完。

很显然,缓冲查询模式适用于小数据量查询,而非缓冲查询适应于大数据量查询。

对于PHP的缓冲模式查询大家都知道,下面列举的例子是如何执行非缓冲查询API。

非缓冲查询方法一: mysqli

代码如下:

<?php $<a href="http://www.php1.cn/category/82.html">mysql</a>i = new <a href="http://www.php1.cn/category/82.html">mysql</a>i("localhost", "my_user", "my_password", "world"); $uresult = $<a href="http://www.php1.cn/category/82.html">mysql</a>i->query("SELECT Name FROM City", MYSQLI_USE_RESULT); if ($uresult) { while ($row = $uresult->fetch_assoc()) { echo $row['Name'] . PHP_EOL; } } $uresult->close(); ?>

非缓冲查询方法二: pdo_mysql

代码如下:

<?php $pdo = new PDO("<a href="http://www.php1.cn/category/82.html">mysql</a>:host=localhost;dbname=world", 'my_user', 'my_pass'); $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $uresult = $pdo->query("SELECT Name FROM City"); if ($uresult) { while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) { echo $row['Name'] . PHP_EOL; } } ?>

非缓冲查询方法三: mysql

代码如下:

<?php $conn = <a href="http://www.php1.cn/category/82.html">mysql</a>_connect("localhost", "my_user", "my_pass"); $db = <a href="http://www.php1.cn/category/82.html">mysql</a>_select_db("world"); $uresult = <a href="http://www.php1.cn/category/82.html">mysql</a>_unbuffered_query("SELECT Name FROM City"); if ($uresult) { while ($row = <a href="http://www.php1.cn/category/82.html">mysql</a>_fetch_assoc($uresult)) { echo $row['Name'] . PHP_EOL; } } ?>

本文转载自:

共有 人打赏支持
snowing1990
粉丝 4
博文 90
码字总数 2952
作品 0
程序员
PHP从MySQL获取大量数据时内存耗尽问题的解决方案

PHP从MySQL获取大量数据时内存耗尽问题的解决方案 沧海一粟2018-03-140 阅读 解决方案数据内存获取mysqlPHP 最近在开发一个PHP程序时遇到了下面的错误: PHP Fatal error: Allowed memory si...

沧海一粟
03/14
0
0
PHP大量数据循环时内存耗尽问题的解决方案

最近在开发一个PHP程序时遇到了下面的错误: PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted 错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但...

snowing1990
2016/04/15
12
0
你知道这样可以解决PHP里大量数据循环时内存耗尽的问题吗?

最近在开发一个PHP程序时遇到了下面的错误: PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted 错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但...

咦我的天
2017/07/17
178
2
iOS内存监测工具--FBMemoryProfiler

FBMemoryProfiler是Facebook开源的一款用于分析iOS内存使用和检测循环引用的工具库。 手机设备的内存是一个共享资源。应用程序可能会不当的耗尽内存、崩溃,或者遭遇大幅度的性能降低。当分配...

匿名
2016/06/12
2.5K
0
经典算法|递归和递归消除的迭代法

任何一个可以用计算机解决的问题所需的计算时间都与其规模有关系,这也就意味着,通常情况下问题规模越大,所耗费的时间和计算资源越多;而问题的规模越小,所需的时间和计算资源越小,问题的...

铁扇公主1
2017/05/24
54
0

没有更多内容

加载失败,请刷新页面

加载更多

中秋快乐!!!

HiBlock
20分钟前
0
0
Node安装教程

1、安装最新版的node 2、设置相关目录(以D盘为例) 分别建立目录:D:\node,D:\node\node-globa,D:\node\node-cache 命令行输入: // 设置npm国内镜像 npm config set registry https://re...

Mohan710
48分钟前
1
0
中国发布域名系统基础软件 “红枫”

9月12日消息,域名工程中心(英文缩写 ZDNS)发布了宣称自主开发的域名系统基础软件 “红枫(Maple DNS)”。 9月12日消息,域名工程中心(英文缩写 ZDNS)发布了宣称自主开发的域名系统基础软...

问题终结者
今天
3
0
Shell编程(分发系统介绍、expect远程登录、expect远程执行命令、expect传递参数)

分发系统介绍expect 分发系统expect即分发脚本,是一种脚本语言;通过他可以实现传输,输入命令(上线代码) 应用场景:业务越来越大,网站app,后端,编程语言是php,所以就需要配置lamp或者...

蛋黄_Yolks
今天
2
0
Java Http请求工具类

public static String httpPost(String source, String params) {URL url = null;HttpURLConnection conn = null;OutputStream os = null;String ret = null;try {......

yuewawa
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部