SageMaker 用のカスタム Docker コンテナイメージを作成し、AWS Step Functions のモデルトレーニングに使用する

Amazon ECR をセットアップし、新しいプライベートレジストリを作成します。

まだ Amazon ECR をセットアップしていない場合は、「Amazon ECR ユーザーガイド」の「Amazon ECR のセットアップ」に記載されている指示に従ってください。各 AWS アカウントには、デフォルトのプライベート Amazon ECR レジストリが提供されます。

Amazon ECR プライベートリポジトリを作成します。

「Amazon ECR ユーザーガイド」の「プライベートリポジトリの作成」に記載されている指示に従ってください。

SageMaker 処理ジョブの実行に必要な仕様を含む Docker ファイルを作成します。

Dockerfile を設定して、SageMaker 処理ジョブの実行に必要な仕様を含む Dockerfile を作成します。手順については、Amazon SageMaker 開発者ガイドの「独自のトレーニングコンテナの調整」を参照してください。

Docker ファイルの詳細については、「Docker ドキュメント」の「Dockerfile ファイルリファレンス」を参照してください。

例：Jupyter Notebookのコードセルで［Dockerfile］を作成

セル 1

# Make docker folder
!mkdir -p docker

セル 2

%%writefile docker/Dockerfile

FROM python:3.7-slim-buster

RUN pip3 install pandas==0.25.3 scikit-learn==0.21.3
ENV PYTHONUNBUFFERED=TRUE

ENTRYPOINT ["python3"]

Docker コンテナイメージを構築し、Amazon ECR にプッシュします。

詳細については、GitHub での独自のアルゴリズムコンテナの構築の「コンテナの構築と登録」を参照してください。

Docker イメージを構築して登録する Jupyter Notebookのコードセルの例

セル 1

import boto3
tag = ':latest'
account_id = boto3.client('sts').get_caller_identity().get('Account')
region = boto3.Session().region_name
ecr_repository = 'byoc'

image_uri = '{}.dkr.ecr.{}.amazonaws.com/{}'.format(account_id, region, ecr_repository + tag)

セル 2

# Build docker image
!docker build -t $image_uri docker

セル 3

# Authenticate to ECR
!aws ecr get-login-password --region {region} | docker login --username AWS --password-stdin {account_id}.dkr.ecr.{region}.amazonaws.com

セル 4

# Push docker image
!docker push $image_uri

カスタム処理とモデルトレーニングロジックを含む Python スクリプトを作成します。

カスタム処理ロジックを書き込んでデータ処理スクリプトで実行します。その後、これを Python スクリプトとして、training.py という名前で保存します。

詳細については、GitHub の「SageMaker スクリプトモードでモデルを自作」を参照してください。

カスタム処理とモデルトレーニングロジックを含む Python スクリプトの例

%%writefile training.py
from numpy import empty
import pandas as pd
import os
from sklearn import datasets, svm
from joblib import dump, load


if __name__ == '__main__':
    digits = datasets.load_digits()
    #create classifier object
    clf = svm.SVC(gamma=0.001, C=100.)
    
    #fit the model
    clf.fit(digits.data[:-1], digits.target[:-1])
    
    #model output in binary format
    output_path = os.path.join('/opt/ml/processing/model', "model.joblib")
    dump(clf, output_path)

SageMaker 処理ジョブをステップの 1 つとして含むステップファンクションワークフローを作成します。

AWS Step Functions データサイエンス SDKをインストールしてインポートし、training.py ファイルを Amazon S3 にアップロードします。その後、「Amazon SageMaker Python SDK」 でステップファンクションの処理ステップを定義します。

Amazon S3 にアップロードする環境設定例とカスタムトレーニングスクリプト

!pip install stepfunctions

import boto3
import stepfunctions
import sagemaker
import datetime

from stepfunctions import steps
from stepfunctions.inputs import ExecutionInput
from stepfunctions.steps import (
    Chain
)
from stepfunctions.workflow import Workflow
from sagemaker.processing import ScriptProcessor, ProcessingInput, ProcessingOutput

sagemaker_session = sagemaker.Session()
bucket = sagemaker_session.default_bucket() 
role = sagemaker.get_execution_role()
prefix = 'byoc-training-model'

# See prerequisites section to create this role
workflow_execution_role = f"arn:aws:iam::{account_id}:role/AmazonSageMaker-StepFunctionsWorkflowExecutionRole"

execution_input = ExecutionInput(
    schema={
        "PreprocessingJobName": str})


input_code = sagemaker_session.upload_data(
    "training.py",
    bucket=bucket,
    key_prefix="preprocessing.py",
)

カスタム Amazon ECR イメージと Python スクリプトを使用する SageMaker 処理ステップ定義の例

script_processor = ScriptProcessor(command=['python3'],
                image_uri=image_uri,
                role=role,
                instance_count=1,
                instance_type='ml.m5.xlarge')


processing_step = steps.ProcessingStep(
    "training-step",
    processor=script_processor,
    job_name=execution_input["PreprocessingJobName"],
    inputs=[
        ProcessingInput(
            source=input_code,
            destination="/opt/ml/processing/input/code",
            input_name="code",
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/model', 
            destination="s3://{}/{}".format(bucket, prefix), 
            output_name='byoc-example')
    ],
    container_entrypoint=["python3", "/opt/ml/processing/input/code/training.py"],
)

SageMaker 処理ジョブを実行するStep Functions ワークフローの例

workflow_graph = Chain([processing_step])

workflow = Workflow(
    name="ProcessingWorkflow",
    definition=workflow_graph,
    role=workflow_execution_role
)

workflow.create()
# Execute workflow
execution = workflow.execute(
    inputs={
        "PreprocessingJobName": str(datetime.datetime.now().strftime("%Y%m%d%H%M-%SS")),  # Each pre processing job (SageMaker processing job) requires a unique name,
    }
)
execution_output = execution.get_output(wait=True)