amazon-sagemaker - 为什么我觉得 AWS SageMaker GPU 没有更快？

Question

我花了 5 天时间配置 AWS SageMaker。（联系增加GPU notebook限制需要2天，下载和解压所有数据需要2天，上传数据到S3等走弯路需要1天）。

当我终于可以在 SageMaker GPU 笔记本实例上运行代码时，我发现速度并不比我的本地 CPU PC 快。

我使用以下代码检查 GPU。不知道出了什么问题。小伙伴们有这种情况吗？我的积分只剩下 200 美元（原价 750 美元）。

标签： amazon-sagemaker

Answer 1

问题应该在于视频加载。当我在图像数据集上训练 Resnet 模型时，速度非常快！！谢谢 AWS ！！

关于视频加载策略，我做了这个内核用于不同方法的比较。

https://www.kaggle.com/muerbingsha/deepfake-face-detector-evaluate

事实证明这imageio_ffmpeg是最快的方法。