首页 > Spark: memory.ExecutionMemoryPool 报内存释放失败警报

Spark: memory.ExecutionMemoryPool 报内存释放失败警报

跑一个 spark 程序时,从日志看到很多 task failed,从 executor 的日志看到多个 executor 报

WARN memory.ExecutionMemoryPool: Internal error: release called on 5242880 bytes but task only has 0 bytes of memory from the on-heap execution pool

的错误。

从 Spark 的源码看到这段警报来自于这里,在结束 task 释放内存时触发的,那么这种警报的出现原因是什么呢?既然是 warn 而不是 error,对运行结果有什么影响呢?


这个虽然是warning,但是说"0 bytes of memory",说明已经没内存了,那你的jvm分分钟会OOM挂掉的。解决方法还是加内存,然后减少中间结果的缓存,或者部分缓存在磁盘中

【热门文章】
【热门文章】