SageMaker용 사용자 지정 Docker 컨테이너 이미지를 생성하고 이를 AWS Step Functions의 모델 교육에 사용합니다.

Amazon ECR을 설정하고 새 프라이빗 레지스트리를 생성합니다.

아직 설정하지 않았다면 Amazon ECR 사용 설명서의 Amazon ECR로 설정에 나와 있는 지침에 따라 Amazon ECR을 설정합니다. 각 AWS 계정은 기본 프라이빗 Amazon ECR 레지스트리와 함께 제공됩니다.

Amazon ECR 프라이빗 리포지토리를 생성합니다.

Amazon ECR 사용 설명서의 프라이빗 리포지토리 생성의 지침을 따릅니다.

SageMaker 처리 작업을 실행하는 데 필요한 사양이 포함된 Dockerfile을 생성합니다.

Dockerfile을 구성하여 SageMaker 처리 작업을 실행하는 데 필요한 사양이 포함된 Dockerfile을 생성합니다. 지침은 Amazon SageMaker 개발자 가이드의 자체 교육 컨테이너에 맞게 조정을 참조하세요.

Dockerfile에 대한 자세한 내용은 Docker 설명서의 Dockerfile 참조를 참조하세요.

Dockerfile을 생성하기 위한 Jupyter Notebook 코드 셀의 예

셀 1

# Make docker folder
!mkdir -p docker

셀 2

%%writefile docker/Dockerfile

FROM python:3.7-slim-buster

RUN pip3 install pandas==0.25.3 scikit-learn==0.21.3
ENV PYTHONUNBUFFERED=TRUE

ENTRYPOINT ["python3"]

Docker 컨테이너 이미지를 구축하고 Amazon ECR에 푸시합니다.

자세한 내용은 GitHub에 있는 자체 알고리즘 컨테이너 빌드의 컨테이너 빌드 및 등록을 참조하세요.

Docker 이미지를 빌드하고 등록하기 위한 Jupyter Notebook 코드 셀의 예

셀 1

import boto3
tag = ':latest'
account_id = boto3.client('sts').get_caller_identity().get('Account')
region = boto3.Session().region_name
ecr_repository = 'byoc'

image_uri = '{}.dkr.ecr.{}.amazonaws.com/{}'.format(account_id, region, ecr_repository + tag)

셀 2

# Build docker image
!docker build -t $image_uri docker

셀 3

# Authenticate to ECR
!aws ecr get-login-password --region {region} | docker login --username AWS --password-stdin {account_id}.dkr.ecr.{region}.amazonaws.com

셀 4

# Push docker image
!docker push $image_uri

사용자 지정 처리 및 모델 학습 로직이 포함된 Python 스크립트를 생성합니다.

데이터 처리 스크립트에서 실행할 사용자 지정 처리 로직을 작성합니다. 그런 다음 이라는 이름이 training.py인 Python 스크립트로 저장합니다.

자세한 내용은 GitHub의 SageMaker 스크립트 모드를 사용하여 자체 모델 가져오기를 참조하세요.

사용자 지정 처리 및 모델 학습 로직이 포함된 예제 Python 스크립트

%%writefile training.py
from numpy import empty
import pandas as pd
import os
from sklearn import datasets, svm
from joblib import dump, load


if __name__ == '__main__':
    digits = datasets.load_digits()
    #create classifier object
    clf = svm.SVC(gamma=0.001, C=100.)
    
    #fit the model
    clf.fit(digits.data[:-1], digits.target[:-1])
    
    #model output in binary format
    output_path = os.path.join('/opt/ml/processing/model', "model.joblib")
    dump(clf, output_path)

SageMaker 프로세싱 작업을 단계 중 하나로 포함하는 Step Functions 워크플로우를 생성합니다.

AWS Step Functions 데이터 과학 SDK를 설치 및 가져오고 training.py 파일을 Amazon S3에 업로드합니다. 그런 다음 Amazon SageMaker Python SDK를 사용하여 Step Functions에서 처리 단계를 정의합니다.

Amazon S3에 업로드하기 위한 예제 환경 설정 및 사용자 지정 교육 스크립트

!pip install stepfunctions

import boto3
import stepfunctions
import sagemaker
import datetime

from stepfunctions import steps
from stepfunctions.inputs import ExecutionInput
from stepfunctions.steps import (
    Chain
)
from stepfunctions.workflow import Workflow
from sagemaker.processing import ScriptProcessor, ProcessingInput, ProcessingOutput

sagemaker_session = sagemaker.Session()
bucket = sagemaker_session.default_bucket() 
role = sagemaker.get_execution_role()
prefix = 'byoc-training-model'

# See prerequisites section to create this role
workflow_execution_role = f"arn:aws:iam::{account_id}:role/AmazonSageMaker-StepFunctionsWorkflowExecutionRole"

execution_input = ExecutionInput(
    schema={
        "PreprocessingJobName": str})


input_code = sagemaker_session.upload_data(
    "training.py",
    bucket=bucket,
    key_prefix="preprocessing.py",
)

사용자 지정 Amazon ECR 이미지와 Python 스크립트를 사용하는 SageMaker 처리 단계 정의 예시

script_processor = ScriptProcessor(command=['python3'],
                image_uri=image_uri,
                role=role,
                instance_count=1,
                instance_type='ml.m5.xlarge')


processing_step = steps.ProcessingStep(
    "training-step",
    processor=script_processor,
    job_name=execution_input["PreprocessingJobName"],
    inputs=[
        ProcessingInput(
            source=input_code,
            destination="/opt/ml/processing/input/code",
            input_name="code",
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/model', 
            destination="s3://{}/{}".format(bucket, prefix), 
            output_name='byoc-example')
    ],
    container_entrypoint=["python3", "/opt/ml/processing/input/code/training.py"],
)

SageMaker 처리 작업을 실행하는 Step Functions 워크플로우 예시

workflow_graph = Chain([processing_step])

workflow = Workflow(
    name="ProcessingWorkflow",
    definition=workflow_graph,
    role=workflow_execution_role
)

workflow.create()
# Execute workflow
execution = workflow.execute(
    inputs={
        "PreprocessingJobName": str(datetime.datetime.now().strftime("%Y%m%d%H%M-%SS")),  # Each pre processing job (SageMaker processing job) requires a unique name,
    }
)
execution_output = execution.get_output(wait=True)