时间戳

首页 > 解决方案 > Knative - kubernetes yaml 从谷歌云存储挂载数据

docker - Knative - kubernetes yaml 从谷歌云存储挂载数据

问题描述

我是使用 YAML 文件进行 Kubernetes 和 Cloudrun 部署的新手，所以请原谅这个问题应该非常基本。

问题：我有存储在云存储中的文件。我想在容器启动我的 docker 入口点之前将这些文件下载到本地挂载中。

据我了解，KNative 不支持volumes 或persistentVolumeClaims。

如果这种理解是错误的，请纠正我。

让我用下面的图片更好地解释它， 在此处输入图像描述

在 Kubernetes pod 内部，我将容器启动分为 3 个部分。

  1. Prehook 从 GCS（Google 云存储）下载文件 -> 这会将文件从 google 存储复制到本地挂载。可以使用某种带有 clouddk 映像的 init 容器，然后使用 gsutils 将文件复制下来。
  2. 本地挂载文件系统 -> prehook 将写入此挂载。具有“容器映像”的容器也可以访问此挂载。
  3. 容器图像 -> 这是我在容器中运行的主要容器图像。

我正在寻找适用于 cloudrun 的 Knative 服务解决方案。我该如何解决这个问题？

另外，是否可以在没有 Knative 服务的情况下使用 yaml 文件来创建 cloudrun 服务？

标签： dockerkubernetesgoogle-cloud-runknativeknative-serving

解决方案

正如您所说，Knative 合约不允许挂载或声明卷。因此，您无法实现这一点（目前，在托管的 Cloud Run 上）。

另一方面，Pod 允许这样做，但 Knative 是“Pod”的特殊版本：没有持久卷，而且你不能定义容器列表，它是一个只有一个容器（+ 网格（大多数time Istio) 部署时注入的 sidecar)

对于您的其他问题，Cloud Run 实现了 Knative API。因此，您需要提供 Knative 服务 YAML 文件来配置您的服务。

如果要写入文件，可以/tmp在内存分区中进行。因此，在您的容器启动时，下载文件并将它们存储在那里。但是，如果您更新文件并需要推送更新，则需要手动将它们推送到 Cloud Storage。

此外，已经下载文件并将其存储在其/tmp目录中的其他正在运行的实例将不会在 Cloud Storage 中看到文件更改；这只是新的实例。

更新 1：

如果您想在容器启动“之前”下载文件，您有 2 个解决方案：

  1. “之前”是不可能的，你可以在启动时这样做：
  • 容器启动
  • 下载文件，启动你所需要的
  • 使用您的网络服务器提供流量。

以前的解决方案有2个问题

  • 服务冷启动受服务前下载影响
  • 文件的最大大小受实例的最大内存大小限制（/tmp目录是内存中的文件系统。如果您的配置为 2Gb，则大小为最大 2Gb 减去应用程序的内存占用）
  1. 第二种解决方案是使用容器映像中已经存在的文件来构建容器。
  • 无冷启动影响
  • 没有内存限制
  • 降低您的敏捷性，您需要通过文件更改构建和部署新修订。

更新 2：

对于解决方案 1，它不是 Knative 解决方案，它在您的代码中！我不知道您的语言和框架，但在启动时，您需要使用 Google Cloud Storage 客户端库从您的代码中下载您需要的文件。

向我展示您的服务器启动，我可以尝试为您提供一个示例！

对于解决方案 2，文件不在您的 git 存储库中，但仍在您的云存储中。您的 Docker 文件可能如下所示

FROM google/cloud-sdk:alpine as gcloud
WORKDIR /app

# IF you aren't building your image on Cloud Build, you need to be authenticated
#ARG KEY_FILE_CONTENT
#RUN echo $KEY_FILE_CONTENT | gcloud auth activate-service-account --key-file=- && \

# Get the file(s)
gsutil cp gs://my-bucket/name.csv .

FROM golang:1.15-buster as builder

WORKDIR /app
COPY go.* ./
....
RUN go build -v -o server

FROM debian:buster-slim

# Copy the binary to the production image from the builder stage.
COPY --from=builder /app/server /app/server
COPY --from=gcloud /app/name.csv /app/name.csv

# Run the web service on container startup.
CMD ["/app/server"]

您还可以想象在 Docker 构建命令之前下载文件并简单地在 Dockerfile 中执行复制。我不知道你的容器创建管道，但它是你可以重用的想法！

推荐阅读