python - 在 Jupyter Notebook 中进行时，pandas.read_gbq() 在哪里“保存”查询？

Question

我正在使用像这样的熊猫从 Google BigQuery 下载数据集

df = pd.read_gbq(query, location="US"...)

它告诉我它正在下载。但是数据保存在哪里？我需要在调用重负载之前知道...

标签： pythonsqlpandasdataframegoogle-bigquery

Answer 1

Python 有一个对象分配器，负责在对象内存区域内分配内存。它直接使用运行 Jupyter 的机器的内存来存储您从pd.read_gbq调用中获得的 DataFrame。检查CPython 的内存管理以获得更多关于此的见解。在这里，您有不同的方法来估计此 DataFrame 所需的内存大小。