PHP如何实现百万级数据导出

        # 获取数据总条数
        $dataCount = Data_ExportModel::getExportZipTotalCount($params);
        $dataCount = $dataCount[0]['count_num'];
 
        # csv
        # 输出Excel文件头，可把user.csv换成你要的文件名
        $mark = '/tmp/export';
 
        $stepLen = 20000;//每次只从数据库取100000条以防变量缓存太大
        # 每隔$limit行，刷新一下输出buffer，不要太大，也不要太小
        $limit = 20000;
        $maxFileCount = 1000000;
        # buffer计数器
        $cnt = 0;
        $head = self::initColumnDataV2(); // 表头部分根据自身业务自行调整
        $fileNameArr = array();
        $salesStatisticsData = array();
        $startLimitId = 0;

 for ($j = 0; $j < ceil($dataCount / $maxFileCount); $j++) { $startSelect = ceil($maxFileCount / $stepLen)*$j; $fileCsvName = $mark . '_'.$j*$maxFileCount.'_' . ($j+1)*$maxFileCount . '.csv'; $fp = fopen($fileCsvName, 'w'); //生成临时文件 $fileNameArr[] = $fileCsvName; # 将数据通过fputcsv写到文件句柄 fputcsv($fp, $head); for ($i = 0; $i < 50; $i++) { // 单个文件支持100万数据条数 $startNum = $j*$maxFileCount + $i*$limit; if ($startNum > $dataCount) { break; // 跳出循环  } # 查询数据 $dataSource = Data_ExportModel::getExportZipTotalInfo($params, $startNum, $stepLen, $startLimitId); $endMicroTime = microtime(true); printf("\n[%s -> %s] Begin Time : %s, End Time : %s, Total Count : %s, CostTime: %s.\n",
　　　　　　　　　　　　 __CLASS__, __FUNCTION__, $params['begin_date'], $params['end_date'], count($dataSource), ($endMicroTime - $startMicroTime)); if (empty($dataSource)) { continue; } $endMicroTime = microtime(true); foreach ($dataSource as $_key => $_data) { $cnt++; if ($limit == $cnt) { # 刷新一下输出buffer，防止由于数据过多造成问题 ob_flush(); flush(); $cnt = 0; } # 数据处理部分，根据自身业务自行定义，注意中文转码 $salesStatisticsData['name'] = iconv('utf-8', 'GB18030', $salesStatisticsData['c_name']); fputcsv($fp, $salesStatisticsData); } } fclose($fp); # 每生成一个文件关闭  } # 进行多文件压缩 $zip = new ZipArchive(); $number = rand(1000,9999); $filename = $mark."_".$params['begin_date']."_".$params['end_date'] ."_".$number. ".zip"; $zip->open($filename, ZipArchive::CREATE); //打开压缩包 foreach ($fileNameArr as $file) { $zip->addFile($file, basename($file)); //向压缩包中添加文件  } $zip->close(); //关闭压缩包 if (!file_exists($filename)) { // 首次执行检查生成的压缩文件是否存在失败，进行二次尝试。。。 $endMicroTime = microtime(true); # 进行二次多文件压缩 $number = rand(1000,9999); $filename = $mark."_".$params['begin_date']."_".$params['end_date'] ."_".$number. ".zip"; if (file_exists($filename)) { unlink($filename); } $zip->open($filename, ZipArchive::CREATE); //打开压缩包 foreach ($fileNameArr as $file) { $zip->addFile($file, basename($file)); //向压缩包中添加文件  } $zip->close(); //关闭压缩包  } if (file_exists($filename)) { $content = file_get_contents($filename); // 解决读取文件偶尔出现失败的问题，第一读出为空则尝试第二次读取 $forNum = 0; while (!$content) { $forNum++; @$content = file_get_contents($filename); if ($forNum > 10) { break; // 防止出现异常情况导致死循环，最多重试10次  } } } else { $endMicroTime = microtime(true); # 删除临时文件，防止占用空间 foreach ($fileNameArr as $file) { if (is_file($file)) { unlink($file); } } // 记录错误日志并且报警 return false; } # 删除临时文件，防止占用空间 foreach ($fileNameArr as $file) { if (is_file($file)) { unlink($file); } }