时间戳

首页 > 解决方案 > 如何使用在不同的多处理进程中创建的变量？

python - 如何使用在不同的多处理进程中创建的变量？

问题描述

抱歉，有点 Python 新手。

任何人都可以帮助下面的代码吗？我正在尝试将由两个单独的多处理进程创建的两个数据帧写入同一个 excel 文件。

编辑：这是简化的代码。在我的实际项目中，数据帧是使用 pd.read_sql() 在不同的连接上构建的。如果这不会在速度方面带来任何明显的影响，请告诉我。我只是假设正常运行它意味着等待第一个连接的 SQL 查询在第二个连接之前运行。

import pyodbc
import pandas as pd
import os
from datetime import datetime
import multiprocessing

def Test1():
global df
df = pd.DataFrame({'Data': [10, 20, 30, 20, 15, 30, 45]})

def Test2():
    global df2
    df2 = pd.DataFrame({'Data': [20, 40, 60, 40, 30, 60, 90]})

if __name__ == '__main__':
Proc1 = multiprocessing.Process(target=Test1)
Proc2 = multiprocessing.Process(target=Test2)
Proc1.start()
Proc2.start()
Proc1.join()
Proc2.join()
writer = 
pd.ExcelWriter(os.path.join(os.path.join(os.environ['USERPROFILE']), 'Desktop','Test.xlsx') , engine='xlsxwriter')
df.to_excel(writer, sheet_name='Test Title',index=False)
df2.to_excel(writer,sheet_name='Test Title2',index=False)
workbook  = writer.book
worksheet = writer.sheets['Test Title']
worksheet = writer.sheets['Test Title2']
writer.save()

为了寻找答案，我不知道术语也无济于事。因此，如果这是一个比我更懂 Python 的人提出的问题的重复，我深表歉意。

此外，错误消息：

line 37, in <module>
df.to_excel(writer, sheet_name='Test Title',index=False)
NameError: name 'df' is not defined

标签： pythonpython-multiprocessing

解决方案

与多处理一起使用global并不像您认为的那样有效。

两者Test1都Test2在一个单独的进程中运行，与父进程不共享任何数据。

你可以做的一些事情：

  • 在开始进程multiprocessing.Queue 之前创建一个。然后，进程可以使用它将Queue数据发送回父进程。数据可能必须能够被腌制。父级将数据写入 excel 文件。
  • 让每个进程将自己的数据帧写入文件，然后向父进程发送完成消息。完成所有流程后，父级将它们合并到一个 excel 文件中。一种变体是使用内存映射文件 ( mmap)。如果数据量没有超过可用内存，则后者效果很好。

哪种方法效果最好取决于很多因素。对于少量数据，使用 aQueue是一个不错的选择。对于大量数据，使用中间文件（尤其是在 SSD 上）可能是一个不错的选择。

推荐阅读