apache-flink - AWS Flink (KDA) Rocks 数据库检查点的大小正在增加并且永远不会下降

Question

在我们的应用程序中，flink 检查点的大小正在增加，并且永远不会使用 Rocks db 作为 statebackend。（AWS KDA）

Kafka-->do some magic -->ES(Sink)-->Writes to kafka

这里我们使用的键是 UUID 并且从不重复。我如何配置以确保检查点大小不会增加或微调 Rocks db 以删除不到 1 天的任何旧密钥。

标签： apache-flinkapache-beamrocksdbamazon-kinesis-analytics

Answer 1

使用 DataStream API，您可以将状态 TTL配置为在某个时间间隔后自动删除密钥，或者您可以使用 KeyedProcessFunction 中的计时器手动管理状态到期。

如果您使用的是 SQL/Table API，那么您应该配置一个空闲状态保留时间。