python - 在 Google Compute Engine 中使用 Flask 读取 CSV 文件时出现问题

Question

我正在使用 pandas 读取一个相当大的 CSV 文件。

csvfile = pd.read_csv('static/somefile.csv', low_memory=False, chunksize=50)

这些文件存储在 Google 计算机引擎上的静态文件夹中。

我不断收到两个错误：

1)
File "<frozen importlib._bootstrap>", line 182, in cb
File "/env/lib/python3.6/site-packages/gunicorn/workers/base.py", line 192, in handle_abort

2)
csvfile = pd.read_csv('static/somefile.csv', low_memory=False)
pandas.errors.ParserError: Error tokenizing data. C error: out of memory

我在引擎上尽可能多地增加了内存和 CPU，所以我知道不是这样。在错误 (2) 中，它忽略了“chunksize”参数。我不确定这是否是烧瓶的问题？

您需要使用 pandas 读取 CSV 文件的烧瓶独有的东西吗？

*注意这是在一个单独的 python 文件到主烧瓶应用程序

标签： pythonpandasgoogle-compute-engine