时间戳

首页 > 解决方案 > 是否有直接的方法将文件上传到 Google Cloud 上的 SSD 永久磁盘？

kubernetes - 是否有直接的方法将文件上传到 Google Cloud 上的 SSD 永久磁盘？

问题描述

我的 Kubernetes 集群用于运​​行我的图形数据库 ( Dgraph )。但是，我必须将作为不同文件夹和文件的初始数据集 (1TB) 加载到 Dgraph 中。

我已经在本地处理了数据，现在可以将文件上传到我的 6 个不同的 SSD 永久磁盘——有没有办法可以直接上传到磁盘，或者我需要使用 Compute Engine 实例并通过挂载来完成它磁盘，然后卸载它们？

标签： kubernetesgoogle-cloud-platformgoogle-compute-enginegoogle-kubernetes-enginedgraph

解决方案

我有一个建议可能比你在帖子中提到的方法更快更简单。

大概您将持久磁盘声明安装到将使用此数据的 pod。

例如，假设您有一个永久磁盘声明安装到 pod 上的 /mnt/data。

可以使用“kubectl cp”命令将文件复制到 pod。我意识到您要上传的数据集非常大，并且会填满 pods 标准文件系统。但是，如果您将持久磁盘声明安装到将包含该 pod 使用的数据的 pod，则该安装的存储空间可能足以容纳该数据。因此，您可以尝试使用“kubectl cp”将数据复制到 pod 上的挂载点，以便它落在挂载的卷上。

你可以运行这个命令来试试这个：

kubectl cp datafile.csv NAMESPACE_NAME/POD_NAME:/mnt/data

除此之外，您可以考虑使用gsutil将数据上传到 Cloud Storage，然后在此处提到的节点上安装 fuse，这将允许您将 Cloud Storage 安装到需要访问数据的 pod，尽管我意识到这可能不适合每个人的用例。

推荐阅读