首页 > 解决方案 > 使用什么存储在 pod 之间传递数据?

问题描述

我正在使用 kubernetes,我需要在 pod 之间传递包含数据集的 parquet 文件,但我不知道哪个选项最有效。

据我所知,永久性磁盘允许我在我的 pod 上挂载一个共享卷,但是通过云存储,我也可以共享这些文件。

所有过程都托管在谷歌云上。

标签: kubernetesgoogle-cloud-platformgoogle-cloud-storagegoogle-kubernetes-engine

解决方案


如果你想持久化数据,你必须使用谷歌的文件存储。这将支持许多读写。

使用 Persistent Disks 支持 GKE 中的 Persistent Volumes。这些磁盘的问题是它们仅支持 ReadWriteOnce(RWO)(卷可以被单个节点以读写方式挂载)和 ReadOnlyMany(ROX)(卷可以被多个节点以只读方式挂载)访问模式。

阅读更多:https ://medium.com/@Sushil_Kumar/readwritemany-persistent-volumes-in-google-kubernetes-engine-a0b93e203180

使用磁盘,无法在pod之间共享数据,因为它只支持一次读写。单个磁盘将附加到单个节点。

如果你期待cloud bucket在 POD 后面使用挂载存储CSI driver,你的文件写入IO会很慢。存储可以通过 API 提供更好的性能。

您可以在 Kubernetes 中创建 NFS 服务器并使用它,这将再次提供支持以读取许多命令。

Gluster FSMinIo是可以使用的选项之一,但是如果要查找托管 NFS ,请使用Google的文件存储。


推荐阅读