文档章节

php 几十万数据导出到csv

病态S
 病态S
发布于 2018/09/04 17:43
字数 838
阅读 32
收藏 0
PHP

参考资料 : https://blog.csdn.net/tim_phper/article/details/77581071 https://www.imooc.com/wenda/detail/316785


/**
 * 下载/导出到csv文件
 * @param $title  标题栏标题
 * @param $data : array($count = M(表名)->where($where)->count(), $data_model = M(表名)->where($where)->order($order))
 * @param $sqlLimit  单文件允许写入最大行
 * @param $mark  文件名标记信息名称
 * @param $func  回调函数处理查询出来的数据
 */
function downloadCsv(array $title, $data, $sqlLimit = 10000, $mark = 'test', $func = '')
{
    set_time_limit(0);
    $sqlCount = $data[0];
    $max_line_perfile = 100000;  //单文件允许写入最大行
    // 输出Excel文件头,可把user.csv换成你要的文件名
    header('Content-Type: application/vnd.ms-excel;charset=utf-8');
    header('Content-Disposition: attachment;filename="' . $mark . '.csv' . '"');
    header('Cache-Control: max-age=0');

    //临时文件的删除处理
    $path = "./Upload/export/" . date('Ymd');
    //判断目录存在否,存在将删除目录下所有文件
    if (is_dir($path)) {
        rmdirr($path);
    } 
    if (!is_dir($path)) {
        //创建目录
        mkdir(iconv("UTF-8", "GBK", $path), 0777, true);
    }

    //每次只从数据库取最大数目以防变量缓存太大
    // 每隔$limit行,刷新一下输出buffer,不要太大,也不要太小
    $limit = $sqlLimit;
    // buffer计数器
    $cnt = 0;
    $fileNameArr = array();
    // 逐行取出数据,不浪费内存
    for ($i = 0; $i < ceil($sqlCount / $sqlLimit); $i++) {
        $tmp_filename = $path . '/' . $mark . '_' . $i . '.csv';
        $fp = fopen($tmp_filename, 'w'); //生成临时文件
       
        // chmod('attack_ip_info_' . $i . '.csv',777);//修改可执行权限
        $fileNameArr[] = $tmp_filename;
        // 将数据通过fputcsv写到文件句柄
        foreach ($title as $key => &$value) {
            $value = iconv("UTF-8", "GBK", $value);
        }
        fputcsv($fp, $title);
                
        $dataArr = $data[1]->limit($i * $sqlLimit, $sqlLimit)->select();

        foreach ($dataArr as $a) {
            if($func) { $func($a); }
           
            //判断是否为多维数组来决定是一次写几行
            if(count($a) == count($a, 1)){  //一维数组
                if($sqlLimit > $max_line_perfile){
                    //限制一个文件不超过最大行
                    exit('下载单文件数目过大,请重新设置');
                }

                $cnt++;
                if ($limit == $cnt) {
                    //刷新一下输出buffer,防止由于数据过多造成问题
                    ob_flush();
                    flush();
                    $cnt = 0;
                }
                fputcsv($fp, $a);
            } else {
                if(($sqlLimit * count($a))  > $max_line_perfile){
                    //限制一个文件不超过100000行
                    exit('下载单文件数目过大,请重新设置');
                }

                foreach ($a as $a_v) {
                    $cnt++;
                    if ($limit == $cnt) {
                        //刷新一下输出buffer,防止由于数据过多造成问题
                        ob_flush();
                        flush();
                        $cnt = 0;
                    }
                    fputcsv($fp, $a_v);
                }
            }

            
        }
        fclose($fp);  //每生成一个文件关闭
    }
    //进行多个文件压缩
    $zip = new ZipArchive();
    $filename = $path . '/' . $mark . ".zip";
    $zip->open($filename, ZipArchive::CREATE);   //打开压缩包
    foreach ($fileNameArr as $file) {
        $zip->addFile($file, basename($file));   //向压缩包中添加文件
    }
    $zip->close();  //关闭压缩包
    foreach ($fileNameArr as $file) {
        unlink($file); //删除csv临时文件
    }
    //输出压缩文件提供下载
    header("Cache-Control: max-age=0");
    header("Content-Description: File Transfer");
    header('Content-disposition: attachment; filename=' . date('YmdHis').'_'.basename($filename)); // 文件名
    header("Content-Type: application/zip"); // zip格式的
    header("Content-Transfer-Encoding: binary"); //
    header('Content-Length: ' . filesize($filename)); //
    @readfile($filename);//输出文件;
    unlink($filename); //删除压缩包临时文件
}

引用片段


            $title = array("ID\t","用户名\t","币种\t","变动资金\t","剩余资金\t","日志类型\t","行为\t","日志描述\t","IP\t","产生路径\t","时间\t");

            $where = preg_replace('/a\./', 'c.', $where);
            $where = preg_replace('/b\./', 'd.', $where);
            $data_model = M('user_coinlog as c')->join('LEFT JOIN basanyi_user as d on c.userid = d.id')->where($where)->field('d.username,c.*')->order('c.id desc');

            downloadCsv($title, array($count, $data_model), 50000, 'user_trade', function(&$data){
                //数据处理显示
                $data['add_time'] = addtime($data['add_time']);
             
                //排序并排除不需要的字段
                $tmp_data = [];
                $tmp_data[0] = $data['id'];
                $tmp_data[1] = $data['username'];
                $tmp_data[2] = $data['coin_name'];
                $tmp_data[3] = $data['effect'];
                $tmp_data[4] = $data['total'];
                $tmp_data[5] = $data['log_type'];
                $tmp_data[6] = iconv("UTF-8", "GBK", $data['action']);
                $tmp_data[7] = iconv("UTF-8", "GBK", $data['content']);
                $tmp_data[8] = $data['ip'];
                $tmp_data[9] = $data['node'];
                $tmp_data[10] = $data['add_time'];

                $data = $tmp_data;
            });

 

本文转载自:https://blog.csdn.net/tim_phper/article/details/77581071

共有 人打赏支持
病态S
粉丝 1
博文 84
码字总数 36001
作品 0
程序员
私信 提问
magento系统自带批量小结

接触magento也快2个月了,由什么都不知道的小白----------到能够独立搭建网站---------到独立写一点属性的代码,其中有苦也有甜,有时候为了一个简单了问题你可能要奋战到深夜,但是现在想想...

发疯的黑蜗牛
2013/08/30
0
2
php 大量数据对比

php中要对比几十万与几十万的列表,如何做比较快?

工力
2014/02/25
651
5
发现很多PHP的程序瓶颈都是和Mysql应用上

最近手上有好多台VPS,你懂的。 然后闲着不能浪费,就在上面做了定时任务,找一些网上的网站、博客之类的,然后CURL不停的提交数据。 然后对方的网站留言或评论几十万 几十万的。然后对方的网...

eechen的粉丝
2013/06/08
493
9
centos6.5 memcached and php-memcached安装

今天要处理一堆数据,第一次从数据库取出来最少的几千,最多的几十万,不可能每次去数据库取。第一次取出成功后,由于本地windows 没有memcached环境,只好先临时保存到一个文件中,用 arra...

邻里
2016/10/13
13
0
php如何导入几十万数据

php如何导入几十万数据.数据库是mysql;

半醉人间
2013/06/29
1K
14

没有更多内容

加载失败,请刷新页面

加载更多

mysql grant 用户权限总结

用户权限管理主要有以下作用: 1. 可以限制用户访问哪些库、哪些表 2. 可以限制用户对哪些表执行SELECT、CREATE、DELETE、DELETE、ALTER等操作 3. 可以限制用户登录的IP或域名 4. 可以限制用...

Airship
17分钟前
1
0
RabbitMQ学习(3)

1. 消费端 1. 消费端通过推模式或者拉模式从RabbitMQ中获取并消费消息,当消费者确认处理消息后,可以手动确认消息已被接收,然后就会将该消息从RabbitMQ的队列中标记再清除,消费者端还可以...

江左煤郎
28分钟前
1
0
linux mysql(5.7)开启慢查询

一、有3个配置需要设置, 1:相关开关 2:日志目录文件 3:慢查询的时间限制 二、设置完之后重启mysql service mariadb restart 三、重启后做个测试 连接mysql 并查询: select sleep(6); 四...

chro008
35分钟前
1
0
选择IDC机房、选择硬件、上架服务器、装系统

选择IDC机房 当业务量比较大的时候,往往选用IDC而不是公有云来跑业务。 IDC机房的服务一般分为两种 需要我们自己购买服务器和网络设备,托管到IDC机房。IDC机房会提供布线、巡检、硬件操作等...

李超小牛子
37分钟前
2
0
《傲慢与偏见》的读书笔记与读后感作文2400字

《傲慢与偏见》的读书笔记与读后感作文2400字: 作者:孙苑馨;笔者按:读书这个习惯是我爸妈养出来的。小时候父母赚的钱除了吃饭穿衣剩下的就是买书了,他们除了买各种新鲜出版的文艺派图书...

原创小博客
45分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部