python - Python SQLAlchemy:存储到 PostgreSQL 的行限制?
问题描述
我在 Python3 中使用 SQLAlchemy 将 pandas 数据帧存储到 PostreSQL 表中。事情可以存储到 78M 行,事情可以存储 20M 行,但是
Got 75032111 rows.
Total time taken 11222.68 s.
Finished at 2018-05-04 06:07:34.
Killed
存储被杀死的地方。我使用 SQLAlechemy 命令df.to_sql(dbName, engine)
。
在 Python 中使用 SQLAlchemy 将数据存储到 PSQL 数据库是否有一些限制?存储大表的首选方法是什么,如果由于大尺寸而被截获,一些同步命令可以继续存储?
解决方案
我以前没有达到这个限制,但你可以做的是使用以下方法分批插入:
df.to_sql(dbName, engine, chunksize=100000) # alter chunksize to your liking