google-cloud-dataproc - Druid Mapreduce 作业未在 Google Dataproc 仪表板上列出

Question

我会解释我的情况。我有一个本地 Apache Druid，我设法让 Druid 在 Dataproc 集群上执行 Hadoop 摄取作业（Mapreduce）。作业运行良好，但问题在 Dataproc 信息中心上不可见。

注意：Dataproc 集群和 Druid 之间的唯一连接是主节点和 Druid 集群之间的 VPN 连接。

标签： google-cloud-dataproc

Answer 1

如果您不是通过 Dataproc API 提交 MapReduce 作业，而是通过其他方式（例如，直接提交到 YARN），那么它在 Dataproc 仪表板中将不可用。但在这种情况下，您应该可以通过组件网关中的 YARN 资源管理器 UI 查看作业。