首页 > PHP大量数据数据导入

PHP大量数据数据导入

现在有个需求,要把excel数据导入到数据表中,但数据量比较大,最多的时候一次要导入几十W条数据,导入的数据不是直接写db的,是走接口的,接口一次性最多处理1000条,耗时比较长,现在有个想法,想把这个做成任务式的导入,每次导入就是创建一个导入任务,把所有任务做成队列,依次完成导入任务,有什么好的方法和建议


php默认30秒 ;你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了


php拼接成sql,直接mysql后台source导入


最好是分段导入,不要一次性导入


  1. mysql load data infile 将数据快速导入到临时表

  2. php守护进程分批将数据往接口同步(或者crontab写定时任务)


Crontab + task list 做后台异步任务,很适合这种场景


你的想法很好,可惜PHP不适合做这种事情,建议用Java之类的语言来实现你的想法。

PHP有了任务,直接把任务参数提交到数据库。

Java在后台每100ms访问一次数据库,看看有没有任务,有就处理。

【热门文章】
【热门文章】