java - Spark KafkaUtils CreateRDD 在键上应用过滤器
问题描述
我有一个巨大的 Kafka 主题,其中包含几个键值消息。我只想用 RDD 中的给定键处理数据,而不必下载整个主题。数据也是交错的,所以我什至不能依赖主题中的偏移量关于如何执行此操作的任何建议?
解决方案
不可能。需要过滤它们(全部)。
我有一个巨大的 Kafka 主题,其中包含几个键值消息。我只想用 RDD 中的给定键处理数据,而不必下载整个主题。数据也是交错的,所以我什至不能依赖主题中的偏移量关于如何执行此操作的任何建议?
标签: javaapache-sparkapache-kafka
不可能。需要过滤它们(全部)。