python - entry_point 脚本存储在自定义 Sagemaker Framework 培训作业容器中的什么位置？

问题描述

我正在尝试创建自己的自定义 Sagemaker 框架，该框架运行自定义 python 脚本以使用 entry_point 参数训练 ML 模型。

根据 Python SDK 文档 ( https://sagemaker.readthedocs.io/en/stable/estimators.html )，我编写了最简单的代码来运行训练作业，只是为了了解它的行为方式以及 Sagemaker 框架的工作方式。

我的问题是我不知道如何正确构建我的 Docker 容器以运行 entry_point 脚本。

我将train.py脚本添加到仅记录文件夹和文件路径以及容器环境中的变量的容器中。

我能够运行训练作业，但是在环境变量和容器中的文件中都找不到 entry_point 脚本的任何引用。

这是我使用的代码：

自定义 Sagemaker 框架类：

from sagemaker.estimator import Framework

class Doc2VecEstimator(Framework):
    def create_model():
        pass

火车.py：

import argparse
import os
from datetime import datetime


def log(*_args):
    print('[log-{}]'.format(datetime.now().isoformat()), *_args)


def listdir_rec(path):
    ls = os.listdir(path)
    print(path, ls)

    for ls_path in ls:
        if os.path.isdir(os.path.join(path, ls_path)):
            listdir_rec(os.path.join(path, ls_path))


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--epochs', type=int, default=5)
    parser.add_argument('--debug_size', type=int, default=None)

    # # I commented the lines bellow since I haven't configured the environment variables in my container
    #     # Sagemaker specific arguments. Defaults are set in the environment variables.
    #     parser.add_argument('--output-data-dir', type=str, default=os.environ['SM_OUTPUT_DATA_DIR'])
    #     parser.add_argument('--model-dir', type=str, default=os.environ['SM_MODEL_DIR'])
    #     parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAIN'])

    args, _ = parser.parse_known_args()

    log('Received arguments {}'.format(args))

    log(os.environ)

    listdir_rec('.')

Dockerfile：

FROM ubuntu:18.04

RUN apt-get -y update \
    && \
    apt-get install -y --no-install-recommends \
        wget \
        python3 \
        python3-pip \
        nginx \
        ca-certificates \
    && \
    rm -rf /var/lib/apt/lists/*

RUN pip3 install --upgrade pip setuptools \
    && \
    pip3 install \
        numpy \
        scipy \
        scikit-learn \
        pandas \
        flask \
        gevent \
        gunicorn \
        joblib \
        pyAthena \
        pandarallel \
        nltk \
        gensim \
    && \
    rm -rf /root/.cache

ENV PYTHONUNBUFFERED=TRUE
ENV PYTHONDONTWRITEBYTECODE=TRUE

COPY train.py /train.py

ENTRYPOINT ["python3", "-u", "train.py"]

训练作业执行脚本：

framework = Doc2VecEstimator(
    image_name=image,
    entry_point='train_doc2vec_model.py',
    output_path='s3://{bucket_prefix}'.format(bucket_prefix=bucket_prefix),

    train_instance_count=1,
    train_instance_type='ml.m5.xlarge',
    train_volume_size=5,

    role=role,
    sagemaker_session=sagemaker_session,
    base_job_name='gensim-doc2vec-train-100-epochs-test',

    hyperparameters={
        'epochs': '100',
        'debug_size': '100',
    },
)

framework.fit(s3_input_data_path, wait=True)

我还没有找到一种方法来使培训工作运行train_doc2vec_model.py. 那么如何创建自己的自定义框架类/容器？

谢谢！

标签： pythonamazon-web-servicesmachine-learningdockerfileamazon-sagemaker

python - entry_point 脚本存储在自定义 Sagemaker Framework 培训作业容器中的什么位置？

问题描述

解决方案

推荐阅读