时间戳

首页 > 解决方案 > Google Colab 上的深度学习：加载大型图像数据集很长，如何加速这个过程？

python - Google Colab 上的深度学习：加载大型图像数据集很长，如何加速这个过程？

问题描述

我正在使用 Keras 开发深度学习模型并加快计算速度，我想使用 google colab 上可用的 GPU。

我的图像文件已经加载到我的谷歌驱动器上。我有 24'000 张图像用于训练 4'000 用于测试我的模型。

但是，当我将图像加载到数组中时，需要很长时间（几乎 2 小时）所以每次使用 google colab notebook 时都不太方便。

你知道如何加速这个过程吗？这是我当前的代码：

TRAIN_DIR  = "Training_set/X"
TRAIN_DIR_Y = "Training_set/Y"
IMG_SIZE = 128

def parse_img_data(path):
    X_train = []
    index_train = []
    img_ind = []
    for img in tqdm(os.listdir(path)):
        img_ind.append(int(img.split('.')[0])-1)
        path = os.path.join(TRAIN_DIR,img)
        img = cv2.imread(path,cv2.IMREAD_COLOR)
        img = cv2.resize(img, (IMG_SIZE,IMG_SIZE))
        X_train.append(np.array(img))
    return np.array(img_ind), np.array(X_train)

ind_train, X_train = parse_img_data(TRAIN_DIR)

如果您能帮助我，我将不胜感激。

泽维尔

标签： pythonkerasdeep-learninggoogle-colaboratory

解决方案

不确定您是否解决了问题。我遇到了同样的问题。os.listdir在我运行 CNN 并工作之前 使用特定的数据文件夹之后。

print(os.listdir("./drive/My Drive/Colab Notebooks/dataset"))

推荐阅读