kubernetes - 如何从本地机器向远程 Kubernetes 集群提交 Dask 作业

我在 GCP 上使用 Kubernetes Engine 设置了一个 Kubernetes 集群。我还使用 Helm 包管理器安装了 Dask。我的数据存储在 GCP 上的 Google Storage 存储桶中。

在我的本地机器上运行kubectl get services会产生以下输出

我可以使用外部 IP 打开仪表板和 jupyter 笔记本，没有任何问题。但是，我想开发一个工作流，我在本地机器上编写代码并将脚本提交到远程集群并在那里运行。

我怎样才能做到这一点？

我尝试按照提交应用程序中的说明使用dask-remote. 我还尝试使用kubectl expose deploymentLoadBalancer 类型公开调度程序，但我不知道我是否正确执行此操作。非常感谢您的建议。

标签： kubernetesdaskdask-distributed

是的，如果您的客户端和工作人员共享相同的软件环境，那么您应该能够使用公开可见的 IP 将客户端连接到远程调度程序。

from dask.distributed import Client
client = Client('REDACTED_EXTERNAL_SCHEDULER_IP')