oracle - 从 Oracle 增量获取

Question

有没有办法使用 JDBC 使用用户定义的查询从 Oracle 数据库中获取增量数据？

我们可以使用 Spark、Kafka 或普通 JDBC。

它唯一应该能够支撑重载的东西。

标签： oracleapache-sparkapache-kafkaapache-kafka-connect

Answer 1

您尚未指定目的地。如果它是 Kafka 主题，那么使用 Apache Kafka 也可以使用 Kafka Connect 进行提取。

在这种情况下，您可以使用Kafka Connect JDBC 连接器来执行此操作。 有关在自定义查询中使用增量模式的详细信息，请参见此处。

++ 编辑 ++

如果您的最终目标是 BigQuery，那么您也可以通过适当的BigQuery 连接器使用 Kafka Connect 。你可以在这里看到它的一个例子。