google-cloud-platform - Apache Beam 中的处理时间和事件时间有什么区别

Question

根据 Apache Beam 文档

“事件时间”由数据元素本身的时间戳决定

“处理时间”，由处理元素的系统上的时钟确定

我的数据是一个 json 文件，我的所有字段都不是时间戳。在这种情况下，我的活动时间是什么时候？

我正在通过 Pub/Sub 摄取数据并使用 Cloud Dataflow 处理数据

标签： google-cloud-platformgoogle-cloud-dataflowapache-beamgoogle-cloud-pubsub

Answer 1

在这种情况下，“事件时间”是事件发布到主题的时间。因此，例如，如果您的数据流无法以发布频率处理已发布的事件，那么事件时间将滞后，因此您的数据流中的系统延迟将增加。