python - 通过将其与传入记录进行比较来删除不断增长的数据库表中的重复记录 - Python
问题描述
我将每小时在 MySQL 表中存储几千条记录，但问题是如果传入的记录和表有重复的记录，要么从表中删除它们，要么从传入的数据中删除它们，然后存储传入的数据。我将使用 python 来完成这项任务。但是我应该如何处理不断增长的表格大小和内存问题。
我正在考虑使用带有块大小生成器的 pandas read_sql 来获取表块并将其与传入记录进行比较，然后从表中删除重复记录，最后将整个传入数据存储在表中。这对我有用吗？
解决方案
推荐阅读
- postman - 是否可以从外部客户端（例如 Postman）向 Skype 聊天发布消息？
- c++ - 优化在网格图中查找 Hamiltionian 循环的函数？
- python - Python 返回另一个函数
- c# - 为什么 Application Insights 将 Nlog 错误写为 Trace 而不是异常？
- regex - 您可以在 MS Word 文件链接中使用正则表达式吗？
- javascript - 如何使用 javascript 使用户输入图片？
- ios - 循环依赖错误 J2OBJC 归档构建？
- swift - 在 Swift 上使用 Firebase SDK 返回 nil 的张量 (.tflite) 模型推理
- javascript - 切换对象中的属性 - Javascript
- python - MacOS - 错误：没有为 django==2.2.7 找到匹配的发行版