apache-kafka - Kafka 连接器的 Presto 查询优化

Question

我有一个带有时间戳作为消息键的 kafka 主题，该主题由年月哈希分区。当我尝试使用 Presto 查询 kafka 时，Presto 似乎会获得完整的消息集。我想知道 Presto 的 Kafka 连接器是否会进行分区/偏移相关的优化？例如，如果我按时间戳范围过滤数据，它将转到目标 kafka 分区而无需完整数据扫描。另一个用例是每小时/每天处理的 ETL 作业，Presto 是否可以智能地定位那些数据，例如继续最后的偏移量？

标签： apache-kafkapresto