apache-kafka - KafkaStreams KTable 压缩

Question

在我的应用程序中，几乎每个传入的记录值都会在几秒钟内被清空（墓碑），但是我没有看到压缩发生，因为 RocksDB 的大小没有减少并且它仍然有数百万个条目

• 当我使用 keyValue 迭代器遍历 stateStore 时，我看到 99% 的值都是空的（墓碑）
• 每个 stateStore 中大约有 5 亿个条目，因此迭代需要将近一个小时
• 我看到这些记录即使在几天后也没有被消除（等到 2 天）。测试期间没有发送新的输入记录，所以它只是旧的
• 我希望主动清除空记录以确保 stateStore 具有大部分活动记录

我使用RocksDBConfigSetter并将compactionStyle设置为level：

options.setCompactionStyle(CompactionStyle.LEVEL);

请让我知道是否还有其他方法可以触发频繁压缩

预期结果：空记录应该至少在几个小时内被快速清除

标签： apache-kafkaapache-kafka-streamsrocksdb