首页 > Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功

Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?


经过自己折腾和翻墙查找终于让它在Linux下运行起来了,第一次调度爬虫作业是打开的,但是不解析网页,只有第二次调度它时,它才开始解析并且正常工作。我自己猜测和react.run()有关,apscheduler任务调度框架和Scrapy结合使用时是要在twisted框架下使用的。当要定时执行爬虫任务时,第一次不解析,第二次开始解析。

【热门文章】
【热门文章】