时间戳

首页 > 解决方案 > 如何将自定义 docker 映像与 Azure Databricks 一起使用

docker - 如何将自定义 docker 映像与 Azure Databricks 一起使用

问题描述

如何将自定义 docker 映像与 Azure 数据块一起使用？

我正在为 ML 使用 azure databricks 笔记本，但我想带一个自定义 docker。

标签： dockerazure-databricks

解决方案

将自定义 Docker 映像与 Azure Databricks 一起使用

先决条件：

  • Databricks 运行时 6.1 或更高版本。如果您以前使用过 Databricks 容器服务，则必须升级您的基础镜像。请参阅https://github.com/databricks/containers中标有 6.x的最新图像。
  • 您的 Azure Databricks 工作区必须启用 Databricks 容器服务。

要在集群上使用自定义容器，工作区管理员必须启用 Databricks 容器服务，如下所示：

  • 转到管理控制台。
  • 单击高级选项卡。
  • 单击容器服务旁边的启用按钮。
  • 刷新页面。

在此处输入图像描述

  • 您的机器必须运行最新的 Docker 守护程序（经过测试并与客户端/服务器版本 18.03.0-ce 一起使用的守护程序），并且 docker 命令必须在您的 PATH 上可用。

第 1 步：建立你的基地

Azure Databricks 成功启动群集有几个最低要求。

第 2 步：推送您的基础镜像

将您的自定义基础映像推送到 Docker 注册表。此过程已使用 Docker Hub 和 Azure Container Registry (ACR) 进行了测试。不支持身份验证或基本身份验证的 Docker 注册表有望正常工作。

第 3 步：启动您的集群

您可以使用 UI 或 API 启动集群。

参考： Azure Databricks - 使用 Databricks 容器服务自定义容器

推荐阅读