时间戳

首页 > 解决方案 > Pandas Dataframe 到云存储桶

python - Pandas Dataframe 到云存储桶

问题描述

我正在尝试从 MySQL 数据库中转储表并将其上传到存储桶。

我处理了连接，选择了表格并将其转换为 Pandas 数据框。

所以，我想将此 df 上传到 Cloud Storage。我确实阅读了有关 Cloud Functions 环境的/tmp的信息，但我需要先将其写入磁盘才能发送到 GCS？不保存本地可以直接上传到bucket吗？

import mysql.connector
import pandas as pd
from google.cloud import storage

mydb = mysql.connector.connect(
    host="host", user="user", passwd="passwd", database="database")

mycursor = mydb.cursor(named_tuple=True)
mycursor.execute("SELECT * FROM table")
myresult = mycursor.fetchall()

df = pd.DataFrame(data=myresult)

storage_client = storage.Client()
bucket = storage_client.get_bucket("my-bucket")
blob = bucket.blob("file.csv")

在我的笔记本电脑上进行测试，我执行以下操作：

df.to_csv("file.csv")
blob.upload_from_filename("file.csv")

它有效，但似乎不是 Cloud Functions 上的最佳方式。

标签： pythonpandasgoogle-cloud-functionsgoogle-cloud-storage

解决方案

我就这样解决了。

df = pd.DataFrame(data=myresult).to_csv(sep=";", index=False, quotechar='"', quoting=csv.QUOTE_ALL, encoding="UTF-8")
blob.upload_from_string(data=df)

推荐阅读