时间戳

首页 > 解决方案 > 如何将 CLOB 数据类型列从 Oracle 移动到 Big Query

google-bigquery - 如何将 CLOB 数据类型列从 Oracle 移动到 Big Query

问题描述

我们的 oracle 应用程序数据库中有某些列被定义为 CLOB 和 NCLOB。如何将 CLOB 数据类型列从 Oracle 移动到 Big Query？我们正在使用数据流从 oracle 数据库中提取数据并写入 Big Query。

标签： google-bigqueryclob

解决方案

在将 Oracle DB 数据转换为 GCP Bigquery 接收器时，我无法找到有关数据类型等效性的任何相关信息，但是我在 Spanner文档中看到了这种 ETL 的推荐数据类型转换：

CLOB、NCLOB、LONG列可以转换为STRING类型，但需要注意：

小对象（少于 2,621,440 个字符）可以存储为 STRING。考虑使用替代的 Google Cloud 产品（例如 Cloud Storage）来存储更大的对象。

我知道 GCP Spanner 是一个单独的产品，并且与 GCP Bigquery 相比具有一些重要功能，但从概念上讲，这两种 GCP 产品都支持简单的数据类型，据说可以用于相同的交换[CLOB , NCLOB] > STRING GCP 大查询。

您可以在 Apache Beam SDK 中找到可以实现上述转换的方法，并在ToString() 您PCollection的管道代码中进行调整。

在这篇文章中阅读更多内容。

推荐阅读