文档章节

如何解决PHP里大量数据循环时内存耗尽的问题

snowing1990
 snowing1990
发布于 2016/03/07 13:00
字数 712
阅读 22
收藏 0

在开发一个PHP程序时我们有时会遇到了下面的错误:

代码如下: PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted

错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但转眼一想,也不奇怪,因为我正在开发的这个程序是要用一个foreach循环语句在一个有4万条记录的表里全表搜索具有特定特征的数据,也就是说,一次要把4万条数据取出,然后逐条检查每天数据。可想而知,4万条数据全部加载到内存中,内存不爆才怪。

毕竟编程这么多年,我隐约记得PHP里提供有非一次全部加载数据的API,是像处理流媒体那样,随用随取随丢、数据并不会积累在内存的查询方法。经过简单的搜索,果然在官方网站上找到的正确的用法。

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。 PHP的查询缺省模式是缓冲模式。也就是说,查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能,比如说,计算行数,将 指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存,也就是用空间换速度。

相对的,另外一种PHP查询模式是非缓冲查询,数据库服务器会一条一条的返回数据,而不是一次全部返回,这样的结果就是PHP程序消耗较少的内存,但却增加了数据库服务器的压力,因为数据库会一直等待PHP来取数据,一直到数据全部取完。

很显然,缓冲查询模式适用于小数据量查询,而非缓冲查询适应于大数据量查询。

对于PHP的缓冲模式查询大家都知道,下面列举的例子是如何执行非缓冲查询API。

非缓冲查询方法一: mysqli

代码如下:

<?php $<a href="http://www.php1.cn/category/82.html">mysql</a>i = new <a href="http://www.php1.cn/category/82.html">mysql</a>i("localhost", "my_user", "my_password", "world"); $uresult = $<a href="http://www.php1.cn/category/82.html">mysql</a>i->query("SELECT Name FROM City", MYSQLI_USE_RESULT); if ($uresult) { while ($row = $uresult->fetch_assoc()) { echo $row['Name'] . PHP_EOL; } } $uresult->close(); ?>

非缓冲查询方法二: pdo_mysql

代码如下:

<?php $pdo = new PDO("<a href="http://www.php1.cn/category/82.html">mysql</a>:host=localhost;dbname=world", 'my_user', 'my_pass'); $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $uresult = $pdo->query("SELECT Name FROM City"); if ($uresult) { while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) { echo $row['Name'] . PHP_EOL; } } ?>

非缓冲查询方法三: mysql

代码如下:

<?php $conn = <a href="http://www.php1.cn/category/82.html">mysql</a>_connect("localhost", "my_user", "my_pass"); $db = <a href="http://www.php1.cn/category/82.html">mysql</a>_select_db("world"); $uresult = <a href="http://www.php1.cn/category/82.html">mysql</a>_unbuffered_query("SELECT Name FROM City"); if ($uresult) { while ($row = <a href="http://www.php1.cn/category/82.html">mysql</a>_fetch_assoc($uresult)) { echo $row['Name'] . PHP_EOL; } } ?>

本文转载自:

共有 人打赏支持
snowing1990
粉丝 4
博文 90
码字总数 2952
作品 0
程序员
私信 提问
PHP从MySQL获取大量数据时内存耗尽问题的解决方案

PHP从MySQL获取大量数据时内存耗尽问题的解决方案 沧海一粟2018-03-140 阅读 解决方案数据内存获取mysqlPHP 最近在开发一个PHP程序时遇到了下面的错误: PHP Fatal error: Allowed memory si...

沧海一粟
03/14
0
0
PHP大量数据循环时内存耗尽问题的解决方案

最近在开发一个PHP程序时遇到了下面的错误: PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted 错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但...

snowing1990
2016/04/15
12
0
你知道这样可以解决PHP里大量数据循环时内存耗尽的问题吗?

最近在开发一个PHP程序时遇到了下面的错误: PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted 错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但...

咦我的天
2017/07/17
233
2
iOS内存监测工具--FBMemoryProfiler

FBMemoryProfiler是Facebook开源的一款用于分析iOS内存使用和检测循环引用的工具库。 手机设备的内存是一个共享资源。应用程序可能会不当的耗尽内存、崩溃,或者遭遇大幅度的性能降低。当分配...

匿名
2016/06/12
2.5K
0
PHP中HASH函数的优化技巧

Hash数据结构是一种非常常见的数据结构,作为一个程序员,你可能每天都在和它接触, 尽管很多时候你可能没有意识到。Hash在PHP内核中扮演了非常重要的角色,数组、变量作用域、函数参数列表等...

ChefXu
2015/12/04
1K
4

没有更多内容

加载失败,请刷新页面

加载更多

Netty 备录 (一)

入职新公司不久,修修补补1个月的bug,来了点实战性的技术---基于netty即时通信 还好之前对socket有所使用及了解,入手netty应该不是很难吧,好吧,的确有点难,刚看这玩意的时候,可能都不知道哪里...

_大侠__
昨天
4
0
Django简单介绍和用户访问流程

Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。 Django是一个开放源代码的Web应用框架,由Python写成。 Django遵守BSD版权,初...

枫叶云
昨天
7
0
EOS错误代码及中文释义

本文集汇总了EOS区块链常见错误代码及其含义,完整错误代码集请查看 EOS错误代码集 - 汇智网 EOS错误代码列表如下, <table class="table table-striped"> <thead> <tr><th>错误代码</th><t......

汇智网教程
昨天
2
0
Spring Cloud Stream消费失败后的处理策略(四):重新入队(RabbitMQ)

应用场景 之前我们已经通过《Spring Cloud Stream消费失败后的处理策略(一):自动重试》一文介绍了Spring Cloud Stream默认的消息重试功能。本文将介绍RabbitMQ的binder提供的另外一种重试...

程序猿DD
昨天
4
0
kiss原则

KISS 原则是用户体验的高层境界,简单地理解这句话,就是要把一个产品做得连白痴都会用,因而也被称为“懒人原则”。换句话说来,”简单就是美“。KISS 原则源于 David Mamet(大卫马梅)的电...

NB-One
昨天
14
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部