首页 > 解决方案 > MySQL 服务器:使用 dask 连接

问题描述

我有一个包含数百万条记录的数据框,在 jupyter 中拉取数据框时需要大量内存,我无法这样做,因为服务器崩溃了,因为数据库中有数百万条记录。

我了解了 DASK 包,它有助于在 python 中获取巨大的数据帧,我是 dask 的新手,不知道如何使用 dask 和 mysql 服务器建立连接。

我通常使用以下方式与 jupyter 和 mysql 服务器建立连接,如果有人能告诉我如何使用 dask 框架为同一个表和服务器建立连接,我将不胜感激。

sql_conn = pyodbc.connect("DSN=CNVDED")
query = "SELECT *  FROM Abc table"
df_training = pd.read_sql(query, sql_conn)
data=df_training

如果有人可以帮助我并且我不能使用 csv 然后使用 dask 需要与 mysql 服务器正确连接,我将非常感激

标签: pythonmysqldaskdask-distributeddask-ml

解决方案


推荐阅读