python - 有没有办法在 dask read_sql_table 中将列设置为空？

Question

我正在连接到一个 oracle 数据库并试图通过一个大约有 7700 万行的表。起初我尝试在 pandas 中使用 chunksize，但无论我设置什么 chunksize，我总是会遇到内存错误。然后我尝试使用 Dask，因为我知道它更适合处理大量数据。但是，有些列需要设为 NULL，当您可以写出 sql 查询时，是否可以在 read_sql_table 查询中执行此操作，就像在 pandas 中一样？

干杯

标签： pythonpandasdask

Answer 1

如果可能，我建议在 oracle 端进行设置，使用正确的数据类型创建视图，然后使用 read_sql_table。

您可能可以直接执行此操作，因为 read_sql_table 接受 sqlalchemy 表达式。如果您可以这样说，它应该可以工作。