apache-kafka - 使用 kafka 连接的 CSV 数据流

Question

我们有一个 CSV 文件格式的业务事件，需要使用 Kafka 附加到数据库（在我们的例子中是雪花）。

我们是否需要将 csv 文件转换为 JSON 格式（使用 python），然后将值传递给 kafka-producer 主题？

标签： apache-kafkaapache-kafka-connectsnowflake-cloud-data-platform

Answer 1

使用卡夫卡连接。

1. 使用Kafka Connect spooldir等连接器将 CSV 文件读入 Kafka （参见示例）
2. 使用Snowflake 的 Kafka Connect 连接器从 Kafka 主题流式传输到 Snowflake （参见示例）

在本次演讲中了解有关 Kafka Connect 的更多信息。