hadoop - 在 Kafka Connect 中从一条消息写入多个条目
问题描述
如果在一个主题上我收到某种格式的消息，这些消息代表相同结构的列表（例如 JSON 列表或 protobuf 中的重复字段），我可以配置 Kafka Connect 以将列表中的每个条目写为单独的行（比如在镶木地板中） HDFS 或 SQL 数据库中的文件）？这是否可能仅使用捆绑的转换器/连接器？
即我可以使用每条 Kafka 消息来表示数千条记录，而不是发送数千条单独的消息吗？
使用 Kafka Connect 实现这一目标的简单方法是什么？
解决方案
捆绑的消息转换只能进行一对一的消息操作。因此，如果您希望 Connect 将其作为单独的记录写出，则必须以某种方式（直接或通过流处理应用程序）显式生成这些扁平列表。
或者，如果适用，您也可以使用 Hive 或 Spark 来扩展该列表以供以后处理。