时间戳

首页 > 解决方案 > AWS Kinesis Analytics 在 ROWTIME 以外的其他字段上是否有水印和滑动窗口？

amazon-web-services - AWS Kinesis Analytics 在 ROWTIME 以外的其他字段上是否有水印和滑动窗口？

问题描述

在使用 Kinesis Analytics 工作了几周后，我有很多问题：

  1. 有水印之类的吗？就像在 flink

    正如我发现的那样，即使是交错窗口也是基于实时发出的：

记录按一分钟的交错窗口分组。当应用程序收到第一条 AMZN 记录（ROWTIME 为 11:00:20）时，交错窗口开始。当 1 分钟的交错窗口到期（在 11:00:20）{我猜这是一个错字可能应该是 11:01:20}，结果记录在交错窗口内（基于 ROWTIME 和EVENT_TIME) 被写入输出流。使用交错窗口，在一分钟窗口内具有 ROWTIME 和 EVENT_TIME 的所有记录都在单个结果中发出。拍到这里

  1. 在关于滑动窗口的页面上，我找到了一些示例，就那里而言，您只能选择“分区依据”的字段，我可以假设基于哪个字段进行窗口化的唯一字段是 ROWTIME。

WINDOW W1 AS ( PARTITION BY ticker_symbol RANGE INTERVAL '1' MINUTE PRECEDING);

请不要将此视为仇恨帖子，我经常使用 AWS，并且大多数服务都是可靠且用户友好的。它更多的是试图指出更多用户（不仅是我）可能需要的某些功能。

或者，如果您知道如何在 Kinesis Analytics 中使用它，那么会很有趣，因为我在文档中没有找到任何关于这些功能的信息。

标签： amazon-web-servicesstreamingreal-timeapache-flinkamazon-kinesis

解决方案

根据我在此处和此处的文档中阅读的内容

对于基于时间的窗口查询，您可以根据时间指定窗口大小（例如，一分钟的窗口）。这需要应用程序内流中的时间戳列单调递增。（新行的时间戳大于或等于前一行。）Amazon Kinesis Data Analytics 为每个应用程序内流提供称为 ROWTIME 的时间戳列。您可以在指定基于时间的查询时使用此列。对于您的应用程序，您可以选择其他一些时间戳选项。有关详细信息，请参阅时间戳和 ROWTIME 列。

您可以有事件时间窗口，但时间戳必须单调递增，这表明只有简单的水印。搜索水印确实会在此页面上找到一些点击。

推荐阅读