时间戳

首页 > 解决方案 > 为什么我在同一个执行程序中的 spark 任务将输出写入 sysout？

amazon-web-services - 为什么我在同一个执行程序中的 spark 任务将输出写入 sysout？

问题描述

我的每个执行者都有 2-3 个任务正在运行，但只有其中一个任务的日志似乎获胜并写入 sysout。我认为在同一阶段在同一执行器上运行的所有任务都应交错写入同一执行器sysout。例如，以下 3 个任务在Executor 12上使用不同的零件文件运行。但只有来自任务 243 的日志显示在 sysout 中。

1   204 0   SUCCESS PROCESS_LOCAL   **12**  ip-10-84-17-11.us-east-2.compute.internal   
stderr
stdout
    2021-07-09 15:43:00 11 s    1 s 1.0 ms  553.3 KiB / 50384   4.6 MiB / 190390    
40  243 0   SUCCESS PROCESS_LOCAL   **12**  ip-10-84-17-11.us-east-2.compute.internal   
stderr
stdout
    2021-07-09 15:43:00 11 s    1 s 3.0 ms  552.1 KiB / 50262   4.6 MiB / 191058    
79  282 0   SUCCESS PROCESS_LOCAL   **12**  ip-10-84-17-11.us-east-2.compute.internal   
stderr
stdout
    2021-07-09 15:43:00 15 s    2 s 0.0 ms  552.7 KiB / 50283   4.6 MiB / 190507

我使用 spark 3.0.0 在 AWS EMR-6.2.1 上运行。我需要有所有任务的日志。我需要改变什么才能拥有它？

标签： amazon-web-servicesapache-spark

解决方案

推荐阅读