google-cloud-dataprep - 是否可以安排 Dataprep 同一个作业根据时间处理不同的数据源？

由于时区差异，我有一些来自不同国家/地区的数据源在不同时间加载到某些 GCP 存储桶中。所有源都具有相同的架构，因此可以使用相同的作业处理它们。

我真的很想保留一份独特的工作，以便集中修复和更改食谱。

是否可以安排数据准备作业，以便根据时间使用不同的时间源（可能使用可变参数）？

例如，在下午 12 点安排相同的工作只处理来自英国的货源，在上午 8 点只处理来自美国的货源，在下午 4 点只处理来自新西兰的货源？

标签： google-cloud-dataprep

目前无法为同一输出创建多个计划。

但是，您可以从配方创建参考数据集并将其添加到多个流中。

您首先需要创建一个参考数据集：

然后，您可以将该参考数据集插入多个流中。然后，每个流程都可以有自己的时间表、输出设置或变量，但逻辑会被重用。