首页 > 解决方案 > 当我传递参数 --executor-core=1 时,Spark yarn executor 进程使用超过 1000% cpu

问题描述

当我运行一个spark程序时,我使用了参数--executor-core=1,但是节点服务器得到了一些CPU使用警告,然后我使用命令“top”,发现一个进程超过了1000% CPU!根据参数--executor-core=1,进程应该拥有 100% 或更多的 CPU,但结果是某些进程拥有 1000%+ CPU。我想知道这是怎么发生的,我该如何解决? CPU 使用率截图

标签: apache-sparkcpu-usage

解决方案


推荐阅读