首页 > 爬虫提示HTTP ERROR 599错误,不在访问需要爬的页面!

爬虫提示HTTP ERROR 599错误,不在访问需要爬的页面!

爬虫提示HTTP ERROR 599错误,不在访问需要爬的页面!
重启服务器后,继续运行爬虫。就一直不启动。

进入代码编辑页面点击运行,单步运行,毫无问题!?请教老大,是哪里的问题!?
服务器是用的Centos7.1 Python版本是2.7.5 pyspider版本为0.3.5
如果pyspider版本有问题,pyspider 需要怎么升级呢?请教!!


pyspider 中的一个脚本是否"执行", 取决于它其中的任务, 而任务都是持久化的, 所以重启并没有什么用.

一个任务是否执行, 取决于它当时所处的状态, 例如:

而单步运行完全是和任务状态无关的.


所以, 你需要检查当前的任务状态是否符合预期.

你可以通过 http://demo.pyspider.org/task/project:taskid (taskid可以从单步调试中获得) 查看任务的状态

而你提到 HTTP ERROR 599, 一般都是无法连接, 是会超时重试的, 0.3.5 中第一次会立即重试, 第二次一小时, 之后 2^(retries-2) 天之后重试. 如果时间未到它是不会访问的.


Server Error. 599 Network Connect Timeout Error.

单ip爬的么?

信息不足呢

【热门文章】
【热门文章】