|
|
| PHP百万级数据导出方案 |
|
|
|
|
PHP百万级数据导出方案（多csv文件压缩）实例讲解概述：最近公司项目要求把数据除了页面输出也希望有导出功能，虽然之前也做过几个导出功能，但
这次数据量相对比较大，差不多一天数据就20W条，要求导7天或者30天，那么数据量就轻松破百万了甚至破千万，因此开发的过程中发现了一
些大数据导出的坑，在此跟大家分享一下，互相学习。准备：1、PHP设置坑：set_time_limit–设置脚本最大执行时间：此
配置一般PHP默认是30秒，如果你是数据小的，可能就不会发现有该设置问题，但如果你数据达到了百万级导出，往往30秒是不够的，因此你
需要在你的脚本中添加set_time_limit(0)，让该脚本没有执行时间现在memory_limit–PHP的内存限定：
此配置一般php默认是128M,如果之前做过小数据的朋友可能也会动过这个配置就能解决许多问题，或许有人想，你大数据也把这个调大不就
行了吗？那么真的是tooyoungtoonative了，你本地能设置1G或者无限制或许真的没问题，但是正式场，你这么搞迟早会
出事的，一个PHP程序占那么大的内存的空间，如果你叫你公司运维帮忙调一下配置，估计运维一定很不情愿，服务器硬件这么搞也是太奢侈了。
所以说，我们要尽量避免调大该设置。2、excel坑：既然是导出数据，大伙们当然马上想到了excel格式了，多方便查看数据呀，然而万
万没想到excel也是有脾气的呀！表数据限制：?12Excel2003及以下的版本。一张表最大支持65536行数据，256列。
Excel2007-2010版本。一张表最大支持1048576行，16384列。也就是说你想几百万条轻轻松松一次性导入一张EXC
EL表是不行的，你起码需要进行数据分割，保证数据不能超过104W一张表。PHPexcel内存溢出：既然数据限制在104W，那么数据
分割就数据分割呗，于是你尝试50W一次导入表，然而PHPexcel内部有函数报内存溢出错误，然后你就不断的调小数据量，直到5W一次
导入你都会发现有内存溢出错误。这是为什么呢，虽然你分割数据来导入多个数据表，但是最后PHPexcel内部还是一次性把所有表数据放进
一个变量中来创建文件……额，这几百万数据一个变量存储，你想内存不溢出，还真有点困难。（后来看了一些文章发现PHPExcel也有解决
方案，PHPExcel_Settings::setCacheStorageMethod方法更改缓冲方式来减小内存的使用）3、csv
坑：EXCEL这么麻烦，我不用还不行吗？我用csv文件储存，既不限制数量，还能直接用EXCEL来查看，又能以后把文件导入数据库，一
举几得岂不是美哉？咦，少侠好想法！但是CSV也有坑哦！输出buffer过多：当你用PHP原生函数putcsv()其实就使用到了输出
缓存buffer，如果你把几百万的数据一直用这个函数输出，会导致输出缓存太大而报错的，因此我们每隔一定量的时候，必须进行将输出缓存
中的内容取出来，设置为等待输出状态。具体操作是：?12ob_flush();flush();具体说明介绍：PHPflush()与
ob_flush()的区别详解EXCEL查看CSV文件数量限制：大多数人看csv文件都是直接用EXCEL打开的。额，这不就是回到E
XCEL坑中了吗？EXCEL有数据显示限制呀，你几百万数据只给你看104W而已。什么？你不管？那是他们打开方式不对而已？不好不好，
我们解决也不难呀，我们也把数据分割一下就好了，再分开csv文件保存，反正你不分割数据变量也会内存溢出。4、总结做法分析完上面那些坑
，那么我们的解决方案来了，假设数据量是几百万。1、那么我们要从数据库中读取要进行数据量分批读取，以防变量内存溢出，2、我们选择数据
保存文件格式是csv文件，以方便导出之后的阅读、导入数据库等操作。3、以防不方便excel读取csv文件，我们需要104W之前就得
把数据分割进行多个csv文件保存4、多个csv文件输出给用户下载是不友好的，我们还需要把多个csv文件进行压缩，最后提供给一个ZI
P格式的压缩包给用户下载就好。代码：?1234567891011121314151617181920212223242526272
8293031323334353637383940414243444546474849505152535455565758//导出
说明:因为EXCEL单表只能显示104W数据，同时使用PHPEXCEL容易因为数据量太大而导致占用内存过大，?//因此，数据的输出
用csv文件的格式输出，但是csv文件用EXCEL软件读取同样会存在只能显示104W的情况，所以将数据分割保存在多个csv文件中，
并且最后压缩成zip文件提供下载?functionputCsv(array$head,$data,$mark=''att
ack_ip_info'',$fileName="test.csv")?{?set_time_limit(0);?$sqlCo
unt=$data->count();?//输出Excel文件头，可把user.csv换成你要的文件名www.rodlg.c
om?header(''Content-Type:application/vnd.ms-excel;charset=utf-8'')
;?header(''Content-Disposition:attachment;filename="''.$fileName
.''"'');?header(''Cache-Control:max-age=0'');??$sqlLimit=100000;
//每次只从数据库取100000条以防变量缓存太大?//每隔$limit行，刷新一下输出buffer，不要太大，也不要太小?$l
imit=100000;?//buffer计数器?$cnt=0;?$fileNameArr=array();?//
逐行取出数据，不浪费内存www.482223.com?for($i=0;$ilLimit);$i++){?$fp=fopen($mark.''_''.$i.''.csv'',''w'');//生
成临时文件?//????chmod(''attack_ip_info_''.$i.''.csv'',777);//修改可执行权限
?$fileNameArr[]=$mark.''_''.?$i.''.csv'';?//将数据通过fputcsv写到文件
句柄?fputcsv($fp,$head);?$dataArr=$data->offset($i$sqlLimit)-
>limit($sqlLimit)->get()->toArray();?foreach($dataArras$a){?$
cnt++;?if($limit==$cnt){?//刷新一下输出buffer，防止由于数据过多造成问题?ob_flush
();?flush();?$cnt=0;?}?fputcsv($fp,$a);?}?fclose($fp);?//每生成一
个文件关闭?}?//进行多个文件压缩?$zip=newZipArchive();?$filename=$mark."
.zip";?$zip->open($filename,ZipArchive::CREATE);??//打开压缩包?forea
ch($fileNameArras$file){?$zip->addFile($file,basename($file)
);??//向压缩包中添加文件?}?$zip->close();?//关闭压缩包?foreach($fileNameArr
as$file){?unlink($file);//删除csv临时文件www.267774.com?}?//输出压缩文件提
供下载?header("Cache-Control:max-age=0");?header("Content-Descripti
on:FileTransfer");?header(''Content-disposition:attachment;fil
ename=''.basename($filename));//文件名?header("Content-Type:appl
ication/zip");//zip格式的?header("Content-Transfer-Encoding:binar
y");//?header(''Content-Length:''.filesize($filename));//?@readfile($filename);//输出文件;?unlink($filename);//删除压缩包临时文件?}总结：其实上面代码还是有优化的空间的，比如说用异常捕捉，以防因为某些错误而导致生成了一些临时文件又没有正常删除，还有PHPexcel的缓存设置也许能解决内存溢出问题，可以生成一个EXCEL文件多个工作表的形式，这样对于文件阅读者来说更友好。 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
