python - 多处理和（熊猫数据框+图像处理）

Question

我有一个pandas看起来像这样的数据框：

image_id    category    sub image_path
1000        A           HH  images/ID_1000.png
512         A           HH  images/ID_512.png
1002        C           CC  images/ID_1002.png
236         B           XX  images/ID_236.png
...        ...          ...  .....

最终目标是什么？

• 按 对图像进行分组category。

• 阅读一个类别中的所有图像。转换它并使用skimage.

• 将与图像出现的行对应的所有值复制到新的数据帧中，并image_path相应地更改为指向转换后的图像。

• 因为数据框是拥抱的，所以我需要并行化这个过程。

简而言之，我想使用以下方法并行化此函数pool：

def transform_and_save(df, to_generate=5000):
    categories = {"A":0, "B":1, "C":2}
    save_dir_path = "new_images/"
    new_df = pd.DataFrame(columns=df.columns)
    final_count=0

    for cls in classes_to_aug.keys():
        orig_images = df[df["category"]==cls].reset_index(drop=True)

        orig_count = len(orig_images)
        nb_images_to_gen = to_generate - orig_count

        counter = 0
        stop = False

        while counter < nb_images_to_gen:
            for i in range(len(orig_images)):
                all_values = orig_images.loc[i]

                img = Path(orig_images["image_path"][i])
                img_name = img.name
                save_name = save_dir_path  + "newimg_" + str(counter) + img_name
                img = imread(img)
                img = resize(img, (200, 200))

                imsave(fname=save_name, check_contrast=False, arr=img)

                all_values["image_path"] = save_name               
                new_df.loc[final_count] = all_values 

                counter += 1
                final_count += 1
                if counter > nb_images_to_gen:
                    stop=True
                    break
            if stop:
                break
    return new_df

标签： pythonpython-3.xpandasmultiprocessingpool