google-cloud-platform - GCP Data Fusion 多表导入

问题描述

我正在尝试使用多个数据库表和 BigQuery 多表数据融合插件在一个管道中导入多个表

但是当我尝试执行时，出现以下错误

java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: BigQuery Multi Table has no outputs. Please check that the sink calls addOutput at some point.

我正在使用数据融合版本 6.1.4 多数据库表版本 1.2.0 和 BigQuery 多表版本 0.14.8。

关于可能是什么问题的任何建议？

编辑：

下面配置多表数据库源

{
            "name": "Multiple Database Tables",
            "plugin": {
                "name": "MultiTableDatabase",
                "type": "batchsource",
                "label": "Multiple Database Tables",
                "artifact": {
                    "name": "multi-table-plugins",
                    "version": "1.2.0",
                    "scope": "USER"
                },
                "properties": {
                    "splitsPerTable": "1",
                    "referenceName": "multiTable",
                    "connectionString": "${secure(connection)}",
                    "jdbcPluginName": "netezza",
                    "user": "${secure(username)}",
                    "password": "${secure(password)}",
                    "whiteList": "categoria_l,cliente_l,regione_l"
                }
            },
            "outputSchema": [
                {
                    "name": "etlSchemaBody",
                    "schema": ""
                }
            ]
        },

经过进一步测试，问题是源响应为空，因为数据融合不是从源数据库读取视图，而只是从表中读取

标签： google-cloud-platformgoogle-cloud-data-fusioncdap

google-cloud-platform - GCP Data Fusion 多表导入

问题描述

解决方案

推荐阅读