时间戳

首页 > 解决方案 > Spark UI 的 SQL 选项卡中的指标“数据大小”（在 Exchange 步骤中）代表什么？

apache-spark - Spark UI 的 SQL 选项卡中的指标“数据大小”（在 Exchange 步骤中）代表什么？

问题描述

下面的 55.7 TB 代表什么？

在此处输入图像描述

如果它是磁盘上 shuffle 输出文件的大小，那么在给定阶段 的 UI 的Jobs选项卡中显示为“Shuffle Write”的指标是什么：在此处输入图像描述

对于“数据大小”，文档说“运营商的广播/洗牌/收集数据的大小（BroadcastExchange、ShuffleExchange、子查询）”，这不是很清楚......

是否类似于未压缩（默认为 lz4 算法）文件的大小？

谢谢 ！

注意：一旦阶段完成，屏幕截图已被拍摄。

标签： apache-sparkapache-spark-sql

解决方案

推荐阅读