时间戳

首页 > 解决方案 > 使用 Kafka 连接的 Teradata 和 Apache Kafka

java - 使用 Kafka 连接的 Teradata 和 Apache Kafka

问题描述

抱歉，如果我的问题无处不在，但我是 Apache Kafka 的新手，目前我正在尝试使用我的 Windows 操作系统将数据从 Teradata 表（在 VM 上）导入 Kafka。到目前为止，我已经完成了以下工作：

1- 下载 Apache Kafka 2- 运行 Kafka 服务器和 Zookeper。3- 使用 IntelliJ IDE 在 JAVA 中编写生产者类。4- 通过 Kafka 的kafka-console-consumer.bat脚本使用生产者的输出，该脚本附带为 Apache Kafka 下载的 zip。

我阅读了一些帖子，发现要连接 Kafka 和 Teradata，我需要使用 Kafka connect。但有几件事让我感到困惑：

1-我遇到的大多数帖子都使用 Confluent。我读过 confluent 仅适用于 Linux 操作系统。有没有办法在不使用 Confluent 的情况下执行将数据摄取到 Kafka 的任务？

2-我也知道我必须将 kafka-connect-jdbc jar 复制到 Kafka libs 文件夹。然后我必须将 Teradata JDBC jar 复制到 Kafka lib 文件夹中。

将 Teradata 或任何其他数据库与 Kafka 集成的下一步是什么？如何在 intelliJ 中创建配置文件并将其与 Kafka 链接？

标签： javaapache-kafkateradataapache-kafka-connectconfluent-platform

解决方案

confluent 仅适用于 Linux 操作系统。

Confluent CLI，是的。汇合平台，没有。

在不使用 Confluent 的情况下将数据摄取到 Kafka？

当然。Kafka Connect 与 Confluent 分发的 Apache Kafka 打包在一起。同样，不是操作系统限制

将 Teradata 或任何其他数据库与 Kafka 集成的下一步是什么？

使用适用于 Windows 的脚本运行 Kafka Connect。属性文件保持不变

http://kafka.apache.org/documentation.html#connect_user

请注意，JDBC 连接器仅适用于某些数据库方言，并且 Teradata 可能无法按预期工作

推荐阅读