phpstudy集成环境

 首页 > 请教大家关于php for循环中的 大数据量处理时自动exit的问题

请教大家关于php for循环中的 大数据量处理时自动exit的问题

        /**
         * @function getSplitCache 对excelId基础数据进行分片缓存
         * @param type $excelId  excel文件id tax_excel的id
         * @param type $beforeAndAfterInsertid  details_excel  插入前后的id
         * @return 无  统一excel的缓存文件标准为： EXCEL_ID_NUM 
         */
        public function getSplitCache($excelId, $beforeAndAfterInsertid){
            processTip( '100%', 'Excel数据分片开始.....................');
            $where['id']        = array('gt', $beforeAndAfterInsertid['beforeId']); 
            $where['excel_id']   = array('eq', $excelId);        //是否可能存在两个表同时插入情况，如果无可省略此项
            $allExcelData =  $this->modelDetailsExcel->where($where)->group('nsrsbh,id')->select();
            $totalNum   = count($allExcelData);
            $this->_setAllRow($totalNum);
//            $interval = ceil( ($beforeAndAfterInsertid[1]-$beforeAndAfterInsertid[0])/$this->excelDataCacheNum);//多个人同时出现操作插入文件是可能错误
            $interval = ceil($totalNum/$this->excelDataCacheNum);
            for($i = 0; $i< $this->excelDataCacheNum; $i++ ){
                $excelData[$i] = array_slice($allExcelData, $i*$interval, $interval);
            }
            unset($allExcelData);
            //1一个在开头一个在结尾利用时间差可以不再细分
            //2必须分在一起以下为分在一起的
            $i = 0;
            for($i;  $i< $this->excelDataCacheNum-1;  $i++ ){
                if($excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][0]['nsrsbh']){
                    $j = 0;

                    while( $excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][$j]['nsrsbh']){
                        $excelData[$i][] = $excelData[$i+1][$j++];
                        P($j);
                    }
                    array_splice($excelData[$i+1], 0, $j);
                }
                //输出前台展示进度
                processTip( ($i/$this->excelDataCacheNum*100), 'Excel数据分片'.$i.'.....................');
                //Thinkphp的F缓存方法 指定位置和名称
                F('Excel_'.$excelId.'/'.$i , $excelData[$i]); 
            }
            F('Excel_'.$excelId.'/'.   $i , $excelData[$i]);
            processTip( '100%', 'Excel数据分片结束.....................');
            return  $this->excelDataCacheNum;
        }

基本原理是 将数据库数据按照nsrsbh 和 id排序 读取出来，然后将数据按照分片数据 分割指定数目的文件（用于前台ajax请求，模拟多线程操作，js发送请求后端接收后处理传过来的数据分片的文件name，然后处理改文件内的数据）
系统环境 apche php 分配的memoryliimit win（win10 64bit 4G内存）为2g linux（ubuntu14.04 64位 8g内存）为4g
经过测试当数据量在3500条时分片1000正常执行。
当数据量在11770条时，linux下和win下开始出现这个问题
到978片缓存生成时就进行不下去，php程序自动跳出 效果如下 然后进程就退出了。

当分片为500的时候出现到488 就会卡 然后到了过个2分钟左右才会输出489 然后没有然后了 进程跳出了

你去php.ini文件中看看有没有配置最大变量长度的那个设置项，找到它，修改后服务器重启即可。


我以前恰好遇到过这个问题

set_time_limit(0),设置超时时间，不是内存的问题可能是超时了

【热门文章】
【热门文章】