python - 如何使用多处理添加大量 pandas df
问题描述
我有一个大约 100 万个数据帧的列表，我需要添加所有这些，我相信多处理会更快，但我不知道如何解决这个问题。
我在考虑生成 n 个进程，每个进程在列表中获取 2 个元素，将它们相互添加，将它们从列表中删除并将结果添加回列表中。继续直到列表中只有一个元素。这是一个好方法吗？谢谢
result = pd.DataFrame()
for mydf in list_df:
result = result.add(mydf, fille_value=0)
解决方案
推荐阅读
- c++ - 无法在 Cmake 中链接静态库的头文件（.h 没有这样的文件或目录）
- javascript - vanillajs-datepicker 点击获取日期（更改）
- swiftui - @State 变量'nil' 在被选择轮赋值后
- c# - C# 多跳 SSH（通过 SSH 进行 SSH）
- deep-learning - 如何在自动编码器之后为 k-means 连接两个输入（图像+数字数据）？
- node.js - Nodejs Redis 按特定前缀删除所有键，包括其字段
- spring - 如何将下载的文件返回为 DataBuffer
- ruby-on-rails - 如何知道过期日期并为rails中的缓存文件创建日期？
- javascript - 在 Node JS 中保存大文件最节省内存的方法是什么？
- angular - Angular 12 library source maps unavailable