amazon-sagemaker - 在 Amazon Sagemaker 中使用 Ground Truth 和 BlazingText 配置训练作业
问题描述
我正在尝试使用其控制台在 Amazon Sagemaker 中配置带有 BlazingText 算法的训练作业。我有一个清单文件如下:
{"source":"Text1","GroundtruthTryVideo":2,"GroundtruthTryVideo-metadata":
{"confidence":0.66,"job-name":"labeling-job/groundtruthtryvideo","class-name":"TrackingToProspecting","human-annotated":"yes","creation-date":"2018-12-27T00:37:23.894062","type":"groundtruth/text-classification"}}
{"source":"Text2","GroundtruthTryVideo":1,"GroundtruthTryVideo-metadata":
{"confidence":0.66,"job-name":"labeling-job/groundtruthtryvideo","class-name":"FirstDateProspecting","human-annotated":"yes","creation-date":"2018-12-27T00:37:23.894043","type":"groundtruth/text-classification"}}
{"source":"Text3","GroundtruthTryVideo":1,"GroundtruthTryVideo-metadata":
{"confidence":0.9,"job-name":"labeling-job/groundtruthtryvideo","class-name":"FirstDateProspecting","human-annotated":"yes","creation-date":"2018-12-27T00:38:26.377216","type":"groundtruth/text-classification"}}
当我尝试使用此清单创建训练作业时,结果总是出现问题,我的配置是:
算法来源:
Amazon SageMaker 内置算法 (BlazingText)
渠道:
- S3 数据类型:ManifestFile
- S3 数据分布类型:FullyReplicated
- S3 位置:ManifestFile 的路径(在 S3 存储桶中)
我尝试使用augmentedManifestFile
andPipe
作为输入模式而不是ManifestFile
andFile
输入,但结果相同,我无法成功完成培训工作。
有人可以帮我正确配置控制台吗?谢谢。
解决方案
我是 AWS 的一名工程师,想提供一些额外的帮助。我会回应上面的建议,以检查AttributeNames
您的培训作业请求定义中的参数。我还想提请您注意一些示例,这些示例可能有助于说明此功能的使用。
- 这个 Jupiter notebook 示例展示了如何使用增强清单来训练对象检测模型。我知道这个用例与您自己的用例略有不同(对象检测与文本分类),但概念相似。https://github.com/awslabs/amazon-sagemaker-examples/blob/master/ground_truth_labeling_jobs/object_detection_augmented_manifest_training/object_detection_augmented_manifest_training.ipynb
- 这个完整的、端到端的标签作业示例还包含一些可能有用的增强清单内容。https://github.com/awslabs/amazon-sagemaker-examples/blob/master/ground_truth_labeling_jobs/object_detection_augmented_manifest_training/object_detection_augmented_manifest_training.ipynb
- 此博客文章提供了另一个使用增强清单训练模型的示例,并通过 AWS 控制台进行。https://aws.amazon.com/blogs/machine-learning/easy-train-models-using-datasets-labeled-by-amazon-sagemaker-ground-truth/
- 最后,关于增强清单的文档也可能很有价值。https://docs.aws.amazon.com/sagemaker/latest/dg/augmented-manifest.html#augmented-manifest-console
最后,请记住,可以通过https://aws.amazon.com/contact-us/联系我们 AWS 。
推荐阅读
- php - 如何处理 SOAP-WSDL 响应
- azure - 如何在 Azure ARM 模板中指定子/父关系中的不同资源?
- html - 如何修复“使用 CSS Clip-Path 悬停时 div 的背景问题”
- amazon-dynamodb - 如果项目在本地 dynamodb 中超过 1350+,则无法正确插入
- javascript - Nodejs无法减去数字
- python - 使用 x,y 坐标从 Pandas 数据框中删除数据并插入到另一个数据框中
- redux - redux 复杂对象不会触发更新
- terraform - Terraform - 模块之间的依赖关系
- javascript - 在 django 模板 forloop 中使用时在 javascript 中选择按钮
- r - 是否可以在 geom_text 中添加希腊字母索引?