python - 处理大数据（xls、csv、google sheet）并将其存储在数据库中
问题描述
有以下业务逻辑。
用户上传文件（xls、csv、google sheet）。文件可以是大约80K 行。
根据每一行的数据，在数据库中创建记录 ( PostgreSQL)。每条记录都在ElasticSearch.
这需要相当长的时间。因此，我进行数据处理，将celery.
还有什么方法可以加快数据处理，在数据库中创建记录？Multiprocesses? Threads? Celery chunks?
解决方案
推荐阅读
- powershell - 将日期和时间字符串转换为日期时间格式
- java - 我可以阻止一个包在 Java 中导入特定的其他包吗
- c++ - 使用实现文件中 decltype 设置的返回类型作为头文件中的返回类型
- laravel - Laravel 5.8：此路由不支持 POST 方法。支持的方法：GET、HEAD。尝试登录时
- javascript - 通过上下文菜单在 rhandsontable 中添加多行
- c++ - 为什么 const auto 不能使用尾随返回类型？（Visual Studio 中的错误 C3551）
- python - 如何正确生成名称？
- sql - 仅按一列分组
- r - 我们可以使用 R/Dplyr 根据 2 个不同列中的值进行排名吗？
- python - 如何将 Torch 张量旋转随机度数