python - 如何将 DASK 数据帧放入 MySQL 数据表？

Question

我从 CSV 文件中获取数据，并在我的 Dask 数据框中保存和操作。从那里我需要将数据写入数据表。我还没有真正遇到过任何解决方案。Pandas 的 to_sql 函数为此提供了内置功能，所以我不确定是否需要先转换为 Pandas？我目前认为将 Dask 数据帧转换为 Pandas 会导致它完全加载到内存中，这可能会破坏首先使用 Dask 的目的。

将 Dask 数据帧写入数据表的最佳和最快方法是什么？

标签： pythondaskdask-dataframe

Answer 1

假设你有 dask 数据框作为 df，你只需要这个：

df.to_sql(table, schema=schema, uri=conn_str, if_exists="append", index=False)

我发现这很容易成为 dask 数据帧的最快方法。