时间戳

首页 > 解决方案 > Nightly TF / Cloned TFX - 如何管理 Kubeflow 的图像？

tensorflow - Nightly TF / Cloned TFX - 如何管理 Kubeflow 的图像？

问题描述

当我访问我的 Kubeflow 端点以使用克隆的 TFX 上传和运行管道时，该过程在生成此消息的第一步开始挂起：

“此步骤处于待处理状态，并显示以下消息：ImagePullBackOff: Back-off pull image “tensorflow/tfx:0.14.0dev”，与创建的管道 yaml 文件中使用的图像相同。

我的总体目标是为 tfrecords 文件构建一个 ExampleGen，正如此处指南中所述。pip 中最新的 tfx 版本是 0.13，还没有包含必要的功能。出于这个原因，我安装 tf-nightly 并克隆/构建 tfx (dev-version 0.14)。这样做并安装一些额外的模块，例如 tensorflow_data_validation，我现在可以使用 tfx 组件创建我的管道，并包括一个用于 tfrecords 文件的 ExampleGen。我终于用 KubeflowRunner 构建了管道。然而，这会产生上述错误。

我现在想知道解决这个问题的适当方法。我想一种方法是自己使用指定版本构建图像，但也许有更实用的方法？

标签： tensorflowkuberneteskubeflowtfx

解决方案

TFX 还没有夜间映像构建。目前，它默认使用带有用于构建管道的库版本标记的图像，因此标记为0.14dev0. 这是 HEAD 的当前版本，请参见此处： https ://github.com/tensorflow/tfx/blob/a1f43af5e66f9548ae73eb64813509445843eb53/tfx/ve​​rsion.py#L17

例如，您可以构建自己的图像并将其推送到某处，并通过自定义管道的参数来 gcr.io/your-gcp-project/your-image-name:tag指定管道使用此图像： https ://github.com/tensorflow/tfx/blob/74f9b6ab26c51ebbfb5d17826c5d5288a67dcf85/tfx/编排/kubeflow/base_component.py#L54tfx_image

参见例如： https ://github.com/tensorflow/tfx/blob/b3796fc37bd4331a4e964c822502ba5096ad4bb6/tfx/examples/chicago_taxi_pipeline/taxi_pipeline_kubeflow.py#L243

推荐阅读