首页 > 解决方案 > Python SQLAlchemy:存储到 PostgreSQL 的行限制?

问题描述

我在 Python3 中使用 SQLAlchemy 将 pandas 数据帧存储到 PostreSQL 表中。事情可以存储到 78M 行,事情可以存储 20M 行,但是

Got 75032111 rows.

Total time taken 11222.68 s.
Finished at 2018-05-04 06:07:34.
Killed

存储被杀死的地方。我使用 SQLAlechemy 命令df.to_sql(dbName, engine)

在 Python 中使用 SQLAlchemy 将数据存储到 PSQL 数据库是否有一些限制?存储大表的首选方法是什么,如果由于大尺寸而被截获,一些同步命令可以继续存储?

标签: pythonpostgresqlpandassqlalchemy

解决方案


我以前没有达到这个限制,但你可以做的是使用以下方法分批插入:

df.to_sql(dbName, engine, chunksize=100000)  # alter chunksize to your liking

推荐阅读