streamsets - Streamsets Transformer - 没有偏移列的 JDBC Origin

Question

我正在测试允许任何用户轻松创建数据处理管道的平台。该平台必须满足某些要求，其中之一就是能够将数据从 Oracle/SQL Server 移动到 HDFS。

Streamsets Transformer (v3.11) 满足所有要求，包括上述要求。我只是无法让它在一个非常特殊的情况下工作：当摄取一个不包含数字列的表时。

在这些情况下，我希望管道处理所有数据，因此，在 JDBC Origin 中，我启用了“跳过偏移跟踪”属性。我认为通过跳过偏移跟踪就不需要设置“偏移列”属性（我猜我错了）。

JDBC_05 - Table doesn't have compatible primary key configuration - supporting exactly one column but table have 0

如果存在数字列，可能的解决方法是将其设置为偏移列，但是当不存在时我找不到这样做的方法。

我错过了什么吗？

谢谢

标签： streamsets

Answer 1

我们正在考虑在未来的版本中在 Transformer 中提供此功能。我会回来并用任何新闻更新这个答案。

同时，您可能希望查看对这些表使用StreamSets Data Collector。它没有“数字偏移列”要求。