amazon-web-services - 如何将 AWS Glue 中经过训练的 FindMatch ML 转换从 UAT 复制到 AWS 中的 PROD 环境

Question

我最近在 AWS 中使用 FindMatch ML Transform 来帮助查找给定数据集中的重复记录。要创建 ml 转换，我必须使用 AWS Glue 并创建它。要使用转换，我必须通过生成标签文件并使用它来训练转换来手动训练它。为了使用转换，我在转换之上创建了一个 AWS Glue 作业。我有一个要求，明天当我必须将这个经过训练的机器学习转换从一个环境移动到另一个环境时，比如从 UAT 到 PROD，我应该如何处理它。问题是当我训练 ml 转换时，它肯定会将训练后的信息保存在 AWS 中的某个位置，例如 S3 位置或内存中。如果我能找到可以存储培训的位置，我可以将该数据复制到新的 AWS 环境中，创建一个新的 ml 转换并将复制的数据附加到 ml 转换。这样，它可以使我免于在 PROD 环境中再次进行 ml 转换的再培训工作。

我有一种方法可以保存用于在 UAT 中训练转换的标签文件，使用相同的标签文件在 PROD AWS 中训练 ml 转换。请让我知道是否有另一种方法可以做到这一点，实际上很想知道我是否可以找到 ml 变换的训练数据的位置，将其复制到新环境并将其附加到 PROD 中的新 ml 变换AWS。

标签： amazon-web-servicesmachine-learningaws-glueaws-lake-formation

Answer 1

我能够找出解决方案，我们只能使用标签文件，事情是我们可以从 UAT 中的转换中导出标签文件，并使用导出的标签文件来训练 prod 中的转换。