azure-machine-learning-studio - Azure 机器学习 FileDataSet 图像 - 分片/拆分到节点
问题描述
如何在不同的火车节点中读取部分 Azure 文件数据集(包含 1000 个图像)。我想要一个覆盖所有图像的样本。
我正在寻找像 tensorflow.dataset.shard() 这样的选项。
谢谢。
解决方案
您可以使用 FileDataset 作为输入的管道中的 ParallelRunStep。请参阅:https ://docs.microsoft.com/en-us/azure/machine-learning/how-to-use-parallel-run-step和https://docs.microsoft.com/en-us/python/ api/azureml-contrib-pipeline-steps/azureml.contrib.pipeline.steps.parallelrunstep?view=azure-ml-py
推荐阅读
- javascript - 为 nodeJS 使用外部 conf 文件
- python - 带有层缓存的 Docker 构建时机密
- flutter - Flutter BLoC - 更新祖先路由的状态
- python - 如果最后一个请求仍在运行,则停止/取消请求
- wai-aria - NVDA 未读出但 VoiceOver 正在读出 trumbowyg 工具栏按钮的按下状态
- kubernetes - Helm3 升级试运行
- reactjs - 设置多个状态的反应钩子有什么区别吗?
- reactjs - 反应路由器条件
- javascript - 从 Javascript (Mocha) 中的 `require` 获取所有函数/变量
- python - Python>从字典中根据列表中的值查找键