oracle - Oracle cdap 到 BigQuery 多表的管道

Question

我正在 cdap 上构建一个管道，我有一个 oracle 数据库，我在其中连接并获取一个表，然后将此数据连接到 BigQuery Multitables 组件。

两个组件都单独进行了验证，并且由 cdap 工具本身进行验证，当我测试完整管道的执行时，我收到了错误：

ERROR Spark program 'phase1' failed with error: BQ_TEST has no outputs.Please check that the sink calls addOutput at some point.

标签： oraclegoogle-bigquerycdap

Answer 1

听起来来源可能没有任何记录。

补充@Yaojie Feng的回复，sink 需要 Avro 格式的 schema，但是Multiple Database Tables source 插件会生成插件所需的 schema BigQuery Multi Table，示例如下。

带有 Avro 格式架构的示例管道运行时参数：

钥匙：multisink.NEW_TABLE_NAME

价值：

{ 
  "name": "NEW_TABLE_NAME", 
  "type": "record", 
  "fields": [
      {"name": "id", "type": "long" }, 
      { "name": "name", "type": "string"} 
    ]
}

来源。