google-cloud-platform - 如何使用 Composer 在 Dataproc 上运行 Notebook

Question

我有一个dataproc使用 dataproc 进行处理的 Jupyter 笔记本。我还将此笔记本存储在 gcs 的“gc:/bucket/...”位置。

我想创建一个 Composer 工作流来在我现有的 dataproc 集群上运行这个笔记本。这在 GCP 中可能吗？

标签： google-cloud-platformgoogle-cloud-dataprocgoogle-cloud-composer

Answer 1

您无法在 Dataproc 中以编程方式运行 Jupyter 笔记本。您可以采取的一种方法是从笔记本中提取代码，然后从 Composer 将其作为集群中的作业提交，例如，使用DataprocPySparkOperator。