首页 > 解决方案 > 避免使用 pandas 到 sqlalchemy 转换的重复项

问题描述

将一堆 CSV 上传到我的 Flask 应用程序时,我希望能够将它们批量输入到我的 sqlalchemy 表中。

status    | medium   | landing page
converted | google   | www.example.com
...

Pandas 有一个 to_sql 方法,可以将 CSV 批量插入数据库,但是唯一的重复检查是查看该表是否已经存在于数据库中。我需要检查各个条目是否已经在数据库中,并且只上传新条目。

目前,我知道我可以通过遍历 pandas 数据框来解决这个问题,但是由于通常不建议遍历数据框,我想知道是否有更有效的方法来解决这个问题。有什么建议么?

标签: pandassqlitedataframeflasksqlalchemy

解决方案


推荐阅读