기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# MLOps 구현
/*",
"Effect": "Allow"
}
```
## 파이프라인 단계 권한
*
*
PUT
Access-Control-Allow-Origin
```
다음 GIF는 Amazon S3 콘솔을 사용하여 CORS 헤더 정책을 추가하는 방법에 대한 Amazon S3 설명서의 지침을 보여줍니다.
![\[Amazon S3 콘솔을 사용하여 CORS 헤더 정책을 추가하는 방법에 대한 Gif입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/sms/gifs/cors-config.gif)
## Pipelines 작업에 대한 액세스 관리 사용자 지정
---`
| Field | 정의 |
| --- | --- |
| 파이프라인 | 항상 정적 문자열이 앞에 추가됩니다. 이 문자열은 파이프라인 오케스트레이션 서비스를 작업의 소스로 식별합니다. |
| ExecutionId | 실행 중인 파이프라인 인스턴스를 위한 무작위 버퍼입니다. |
| stepNamePrefix | 사용자가 지정한 단계 이름(파이프라인 단계의 `name`인수에 지정됨)으로, 처음 20자로 제한됩니다. |
| entityToken | 단계 개체의 멱등성을 보장하기 위한 무작위 토큰입니다. |
| failureCount | 작업을 완료하기 위해 시도한 현재 재시도 횟수입니다. |
이 경우 작업 이름 앞에 사용자 지정 접두사가 추가되지 않으며 해당 IAM 정책이 이 문자열과 일치해야 합니다.
작업 접두사를 사용하는 사용자의 경우 기본 작업 이름은 다음과 같은 형식을 취하며 사용자 지정 접두사는 `MyBaseJobName`으로 지정됩니다.
**-**-**-**
사용자 지정 접두사는 정적 `pipelines` 문자열을 대체하므로 SageMaker AI 작업을 파이프라인의 일부로 실행할 수 있는 사용자 선택 범위를 좁힐 수 있습니다.
**접두사 길이 제한**
작업 이름에는 개별 파이프라인 단계에 따른 내부 길이 제약이 있습니다. 또한 이 제약 조건은 허용되는 접두사 길이를 제한합니다. 접두사 길이 요구 사항은 다음과 같습니다.
| 파이프라인 단계 | 접두사 길이 |
| --- | --- |
| `[TrainingStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#trainingstep)`, `[ModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#step-collections)`, `[TransformStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#transformstep)`, `[ProcessingStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#processingstep)`, `[ClarifyCheckStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#clarifycheckstep)`, `[QualityCheckStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#qualitycheckstep)`, `[RegisterModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#step-collections)` | 38 |
| `[TuningStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#tuningstep)`, `[AutoML](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#automlstep)` | 6 |
### IAM 정책에 작업 접두사 적용
= (
name="",
default_value=
)
```
다음 예제에서는 예제 파라미터 구현을 보여 줍니다.
```
from sagemaker.workflow.parameters import (
ParameterInteger,
ParameterString,
ParameterFloat,
ParameterBoolean
)
processing_instance_count = ParameterInteger(
name="ProcessingInstanceCount",
default_value=1
)
```
다음 예제와 같이 파이프라인을 생성할 때 파라미터를 전달합니다.
```
pipeline = Pipeline(
name=pipeline_name,
parameters=[
processing_instance_count
],
steps=[step_process]
)
```
다음 예제와 같이 기본값과 다른 파라미터 값을 파이프라인 실행에 전달할 수도 있습니다.
```
execution = pipeline.start(
parameters=dict(
ProcessingInstanceCount="2",
ModelApprovalStatus="Approved"
)
)
```
`[ sagemaker.workflow.functions.Join](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.functions.Join)`와 같은 SageMaker Python SDK 함수를 사용하여 파라미터를 조작할 수 있습니다. 파라미터에 대한 자세한 내용은 [SageMaker Pipelines 파라미터](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#parameters)를 참조하세요.
Pipelines 파라미터의 알려진 제한 사항은 [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable)의 *[Limitations - Parameterization](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#parameterization)*을 참조하세요.
# Pipelines 단계
` 형식으로 제공해야 합니다.
1. 압축 폴더 업로드의 경우 코드에 대한 상대 경로를 제공해야 하며, 선택적으로 압축 폴더 내의 `requirements.txt` 파일 또는 초기화 스크립트에 대한 경로를 제공할 수 있습니다.
1. 캔버스에 추가한 **코드 실행** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **코드 실행** 단계로 드래그하여 엣지를 만듭니다.
1. 캔버스에 추가한 **코드 실행** 단계 바로 뒤에 있는 단계가 포함된 경우 **코드 실행** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. **코드 실행** 단계의 출력은 Python 함수를 위해 참조할 수 있습니다.
## 처리 단계
,
instance_type='ml.m5.xlarge',
instance_count=1)
```
```
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker.workflow.steps import ProcessingStep
inputs = [
ProcessingInput(source=, destination="/opt/ml/processing/input"),
]
outputs = [
ProcessingOutput(output_name="train", source="/opt/ml/processing/train"),
ProcessingOutput(output_name="validation", source="/opt/ml/processing/validation"),
ProcessingOutput(output_name="test", source="/opt/ml/processing/test")
]
step_process = ProcessingStep(
name="AbaloneProcess",
step_args = sklearn_processor.run(inputs=inputs, outputs=outputs,
code="abalone/preprocessing.py")
)
```
**런타임 파라미터 전달**
다음 예제는 Pyspark 프로세서에서 `ProcessingStep`으로 런타임 파라미터를 전달하는 방법을 보여줍니다.
```
from sagemaker.workflow.pipeline_context import PipelineSession
from sagemaker.spark.processing import PySparkProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker.workflow.steps import ProcessingStep
pipeline_session = PipelineSession()
pyspark_processor = PySparkProcessor(
framework_version='2.4',
role=,
instance_type='ml.m5.xlarge',
instance_count=1,
sagemaker_session=pipeline_session,
)
step_args = pyspark_processor.run(
inputs=[ProcessingInput(source=, destination="/opt/ml/processing/input"),],
outputs=[
ProcessingOutput(output_name="train", source="/opt/ml/processing/train"),
ProcessingOutput(output_name="validation", source="/opt/ml/processing/validation"),
ProcessingOutput(output_name="test", source="/opt/ml/processing/test")
],
code="preprocess.py",
arguments=None,
)
step_process = ProcessingStep(
name="AbaloneProcess",
step_args=step_args,
)
```
처리 단계 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.steps.ProcessingStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.ProcessingStep) 설명서를 참조하세요. 자세한 예시는 [Orchestrate Jobs to Train and Evaluate Models with Amazon SageMaker Pipelines](https://github.com/aws/amazon-sagemaker-examples/blob/62de6a1fca74c7e70089d77e36f1356033adbe5f/sagemaker-pipelines/tabular/abalone_build_train_deploy/sagemaker-pipelines-preprocess-train-evaluate-batch-transform.ipynb) 예시 노트북을 참조하세요. *Define a Processing Step for Feature Engineering* 섹션에 자세한 정보가 포함되어 있습니다.
------
## 훈련 단계
",
target_attribute_name="my_target_attribute_name",
mode="ENSEMBLING",
sagemaker_session=pipeline_session)
input_training = AutoMLInput(
inputs="s3://amzn-s3-demo-bucket/my-training-data",
target_attribute_name="my_target_attribute_name",
channel_type="training",
)
input_validation = AutoMLInput(
inputs="s3://amzn-s3-demo-bucket/my-validation-data",
target_attribute_name="my_target_attribute_name",
channel_type="validation",
)
step_args = auto_ml.fit(
inputs=[input_training, input_validation]
)
step_automl = AutoMLStep(
name="AutoMLStep",
step_args=step_args,
)
```
**최적 모델 버전 가져오기**
AutoML 단계에서는 여러 모델 후보를 자동으로 학습시킵니다. 다음과 같이 `get_best_auto_ml_model` 메서드를 사용하여 AutoML 작업에서 최적의 목표 지표가 있는 모델을 가져옵니다. 또한 IAM `role`을 사용하여 모델 아티팩트에 액세스해야 합니다.
```
best_model = step_automl.get_best_auto_ml_model(role=)
```
자세한 내용은 SageMaker Python SDK의 [AutoML](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.automl_step.AutoMLStep) 단계를 참조하세요.
## 모델 단계
* 인스턴스를 추가할 수 있습니다. JSONPath 표기법에 대한 자세한 내용은 [JSONPath 리포지토리](https://github.com/json-path/JsonPath)를 참조하세요.
```
.properties..
```
다음은 처리 단계의 `ProcessingOutputConfig`속성을 사용하여 Amazon S3 버킷을 지정하는 방법을 보여줍니다.
```
step_process.properties.ProcessingOutputConfig.Outputs["train_data"].S3Output.S3Uri
```
데이터 종속성을 생성하려면 다음과 같이 버킷을 훈련 단계로 전달하세요.
```
from sagemaker.workflow.pipeline_context import PipelineSession
sklearn_train = SKLearn(..., sagemaker_session=PipelineSession())
step_train = TrainingStep(
name="CensusTrain",
step_args=sklearn_train.fit(inputs=TrainingInput(
s3_data=step_process.properties.ProcessingOutputConfig.Outputs[
"train_data"].S3Output.S3Uri
))
)
```
데이터 종속성 생성 중에 각 단계 유형에 대해 참조할 수 있는 속성을 확인하려면 [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable)의 [데이터 종속성 - 속성 참조](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#data-dependency-property-reference)를 참조하세요.**
## 단계 간 사용자 지정 종속성
",
steps=[step_train_result],
sagemaker_session=,
)
```
단계 간에 데이터 또는 사용자 지정 종속성이 없고 여러 단계를 병렬로 실행하는 경우 파이프라인 그래프에 둘 이상의 리프 노드가 있습니다. 다음 예시와 같이 목록에 있는 이러한 모든 리프 노드를 파이프라인 정의의 `steps` 인수에 전달합니다.
```
@step
def process1():
...
return data
@step
def process2():
...
return data
step_process1_result = process1()
step_process2_result = process2()
pipeline = Pipeline(
name="",
steps=[step_process1_result, step_process2_result],
sagemaker_session=sagemaker-session,
)
```
파이프라인이 실행되면 두 단계가 병렬로 실행됩니다.
리프 노드에는 데이터 또는 사용자 지정 종속성을 통해 정의된 모든 이전 단계에 대한 정보가 포함되어 있으므로 그래프의 리프 노드만 파이프라인에 전달합니다. 파이프라인을 컴파일할 때 SageMaker AI는 파이프라인 그래프를 구성하는 모든 후속 단계를 추론하고 각 단계를 파이프라인에 별도의 단계로 추가합니다.
## 파이프라인 생성
",
steps=[step_train_result],
sagemaker_session=local_pipeline_session # needed for local mode
)
local_pipeline.create(role_arn="role_arn")
# pipeline runs locally
execution = local_pipeline.start()
```
# 파이프라인 구성
", default_value=10)
@step
def func():
print(param)
func() # this raises a SerializationError
```
+ 파이프라인 변수를 다른 객체에 중첩하여 `@step` 함수에 전달할 수 없습니다. 다음 예시는 오류를 유발합니다.
```
param = ParameterInteger(name="", default_value=10)
@step
def func(arg):
print(arg)
func(arg=(param,)) # this raises a SerializationError because param is nested in a tuple
```
+ 함수의 입력 및 출력은 직렬화되므로 함수의 입력 또는 출력으로 전달할 수 있는 데이터 유형에 제한이 있습니다. 자세한 내용은 [원격 함수 간접 호출](train-remote-decorator-invocation.md)의 *Data serialization and deserialization* 섹션을 참조하세요. `@step`으로 데코레이션된 함수에도 동일한 제한이 적용됩니다.
+ Boto 클라이언트가 있는 객체는 직렬화할 수 없으므로 `@step`으로 데코레이션된 함수에 입력 또는 출력으로 그러한 객체를 전달할 수 없습니다. 예를 들어 `Estimator`, `Predictor`, `Processor`와 같은 SageMaker Python SDK 클라이언트 클래스는 직렬화할 수 없습니다.
## 함수 가져오기
",
s3_uri="",
json_path="Output[1]"
),
right=6.0
)
```
조건 단계에서 Amazon S3 경로와 함께 `JsonGet`을 사용하는 경우 조건 단계와 JSON 출력을 생성하는 단계 간에 종속성을 명시적으로 추가해야 합니다. 다음 예시에서는 처리 단계에 따라 조건 단계가 만들어집니다.
```
cond_step = ConditionStep(
name="",
conditions=[cond_lte],
if_steps=[fail_step],
else_steps=[register_model_step],
depends_on=[processing_step],
)
```
## 속성 파일을 사용하여 단계 간에 데이터 전달
= PropertyFile(
name="",
output_name="",
path=""
)
```
`ProcessingStep` 인스턴스를 만들 때 Amazon SageMaker Pipelines 서비스가 인덱싱해야 하는 모든 파라미터 파일을 나열하는 `property_files` 파라미터를 추가합니다. 이렇게 하면 나중에 사용할 수 있도록 속성 파일이 저장됩니다.
```
property_files=[]
```
조건 단계에서 속성 파일을 사용하려면 다음 예제와 같이 조건 단계에 전달하는 조건에 `property_file`을 추가하고 `json_path`파라미터를 사용하여 원하는 속성에 대한 JSON 파일을 쿼리합니다.
```
cond_lte = ConditionLessThanOrEqualTo(
left=JsonGet(
step_name=step_eval.name,
property_file=,
json_path="mse"
),
right=6.0
)
```
자세한 예제는 [Amazon SageMaker Python SDK의](https://sagemaker.readthedocs.io/en/stable) [속성 파일](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#property-file)을 참조하세요.**
# 파이프라인 캐싱 단계
"
}
}
```
이 `Enabled`필드는 특정 단계에서 캐싱이 켜져 있는지 여부를 나타냅니다. 필드를 `true`로 설정하면 SageMaker AI가 동일한 속성을 가진 이전 단계 실행을 찾으려고 시도하도록 지시할 수 있습니다. 또는 필드를 `false`로 설정하여 파이프라인이 실행될 때마다 SageMaker AI가 단계를 실행하도록 지시할 수 있습니다. `ExpireAfter`는 제한 기간을 정의하는 [ISO 8601 기간](https://en.wikipedia.org/wiki/ISO_8601#Durations) 형식의 문자열입니다. `ExpireAfter` 기간은 년, 월, 주, 일, 시간 또는 분 값일 수 있습니다. 각 값은 숫자 다음에 기간 단위를 나타내는 문자로 구성됩니다. 예제:
+ "30d" = 30일
+ "5y" = 5년
+ "T16m" = 16분
+ "30dT5h" = 30일 5시간.
다음 설명에서는 Amazon SageMaker Python SDK를 사용하여 새 파이프라인 또는 기존 파이프라인에 대한 캐싱을 활성화하는 절차를 설명합니다.
**새 파이프라인 캐싱 활성화**
새 파이프라인의 경우 `enable_caching=True`를 사용하여 `CacheConfig`인스턴스를 초기화하고 이를 파이프라인 단계의 입력으로 제공합니다. 다음 예시에서는 훈련 단계에 1시간의 제한 시간을 두고 캐싱을 활성화합니다.
```
from sagemaker.workflow.pipeline_context import PipelineSession
from sagemaker.workflow.steps import CacheConfig
cache_config = CacheConfig(enable_caching=True, expire_after="PT1H")
estimator = Estimator(..., sagemaker_session=PipelineSession())
step_train = TrainingStep(
name="TrainAbaloneModel",
step_args=estimator.fit(inputs=inputs),
cache_config=cache_config
)
```
**기존 파이프라인 캐싱 활성화**
사전 정의된 기존 파이프라인의 캐싱을 활성화려면 해당 단계의 `enable_caching`속성을 켜고 `expire_after`를 시간 제한 값으로 설정합니다. 마지막으로 `pipeline.upsert()`또는 `pipeline.update()`를 사용하여 파이프라인을 업데이트합니다. 다시 실행하면 다음 코드 예제가 훈련 단계에 대해 1시간의 제한 시간을 두고 캐싱을 활성화합니다.
```
from sagemaker.workflow.pipeline_context import PipelineSession
from sagemaker.workflow.steps import CacheConfig
from sagemaker.workflow.pipeline import Pipeline
cache_config = CacheConfig(enable_caching=True, expire_after="PT1H")
estimator = Estimator(..., sagemaker_session=PipelineSession())
step_train = TrainingStep(
name="TrainAbaloneModel",
step_args=estimator.fit(inputs=inputs),
cache_config=cache_config
)
# define pipeline
pipeline = Pipeline(
steps=[step_train]
)
# additional step for existing pipelines
pipeline.update()
# or, call upsert() to update the pipeline
# pipeline.upsert()
```
또는 (기존) 파이프라인을 이미 정의한 후 캐시 구성을 업데이트하여 한 번의 연속 코드 실행을 허용합니다. 다음 코드 샘플은 이 방법을 보여줍니다.
```
# turn on caching with timeout period of one hour
pipeline.steps[0].cache_config.enable_caching = True
pipeline.steps[0].cache_config.expire_after = "PT1H"
# additional step for existing pipelines
pipeline.update()
# or, call upsert() to update the pipeline
# pipeline.upsert()
```
Python SDK 파라미터가 캐싱에 미치는 영향에 대한 자세한 코드 예제와 설명은 Amazon SageMaker Python SDK 설명서의 [캐싱 구성](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#caching-configuration)을 참조하세요.
# 단계 캐싱 비활성화
"
}
}
```
참고로, `Enabled`가 `false`인 경우 `ExpireAfter`속성은 무시됩니다.
Amazon SageMaker Python SDK를 사용하여 파이프라인 단계의 캐싱을 해제하려면 파이프라인 단계의 파이프라인을 정의하고 `enable_caching`속성을 비활성화한 다음 파이프라인을 업데이트하세요.
다시 실행하면 다음 코드 예제가 훈련 단계에 대한 캐싱을 해제합니다.
```
from sagemaker.workflow.pipeline_context import PipelineSession
from sagemaker.workflow.steps import CacheConfig
from sagemaker.workflow.pipeline import Pipeline
cache_config = CacheConfig(enable_caching=False, expire_after="PT1H")
estimator = Estimator(..., sagemaker_session=PipelineSession())
step_train = TrainingStep(
name="TrainAbaloneModel",
step_args=estimator.fit(inputs=inputs),
cache_config=cache_config
)
# define pipeline
pipeline = Pipeline(
steps=[step_train]
)
# update the pipeline
pipeline.update()
# or, call upsert() to update the pipeline
# pipeline.upsert()
```
또는 파이프라인을 이미 정의한 후 `enable_caching`속성을 비활성화하면 한 번의 연속 코드 실행이 가능합니다. 다음 코드 샘플은 이 방법을 보여줍니다.
```
# turn off caching for the training step
pipeline.steps[0].cache_config.enable_caching = False
# update the pipeline
pipeline.update()
# or, call upsert() to update the pipeline
# pipeline.upsert()
```
Python SDK 파라미터가 캐싱에 미치는 영향에 대한 자세한 코드 예제와 설명은 Amazon SageMaker Python SDK 설명서의 [캐싱 구성](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#caching-configuration)을 참조하세요.
# 파이프라인 단계 유형별 기본 캐시 키 속성
----event-pattern --description --role-arn --tags
```
+ **일정**: 규칙은 지정된 일정에 따라 정기적으로 시작됩니다. 지정된 분, 시간 또는 주 동안 정기적으로 시작되는 고정 비율 일정을 사용할 수 있습니다. cron 표현식을 사용하여 “매월 첫 번째 월요일 오전 8시”와 같이 보다 세분화된 일정을 만들 수도 있습니다. 사용자 지정 또는 파트너 이벤트 버스에서는 일정이 지원되지 않습니다. 다음 명령을 사용하면 일정에서도 규칙을 생성할 수 있습니다.
```
aws events put-rule --name --schedule-expression --description --role-arn --tags
```
1. 이벤트가 이벤트 패턴과 일치하거나 일정이 시작될 때 간접적으로 호출할 대상을 추가합니다. 규칙당 최대 5개의 대상을 추가할 수 있습니다. 각 대상에 대해 다음을 지정해야 합니다.
+ ARN: 파이프라인의 리소스 ARN입니다.
+ 역할 ARN: EventBridge가 파이프라인을 실행하기 위해 맡아야 하는 역할의 ARN입니다.
+ 파라미터: 전달할 Amazon SageMaker AI 파이프라인 파라미터입니다.
1. 다음 명령을 실행하여 [put-targets](https://docs.aws.amazon.com/cli/latest/reference/events/put-targets.html)으로 Amazon SageMaker AI 파이프라인을 규칙의 대상으로 전달합니다.
```
aws events put-targets --rule --event-bus-name --targets "[{\"Id\": , \"Arn\": , \"RoleArn\": , \"SageMakerPipelineParameter\": { \"SageMakerParameterList\": [{\"Name\": , \"Value\": }]} }]"]
```
## SageMaker Python SDK를 사용하여 파이프라인 예약
",
at=datetime(2023, 12, 13, 10, 15, 20)
)
# schedules a pipeline run every 5 minutes
my_rate_schedule = PipelineSchedule(
name="",
rate=(5, "minutes")
)
# schedules a pipeline run at 10:15am UTC on the last Friday of each month during the years 2022 to 2023
my_cron_schedule = PipelineSchedule(
name="",
cron="15 10 ? * 6L 2022-2023"
)
```
**참고**
일회성 일정을 만들고 현재 시간에 액세스해야 하는 경우 `datetime.now()` 대신 `datetime.utcnow()`를 사용하세요. 전자는 현재 영역 컨텍스트를 저장하지 않으며 EventBridge에 잘못된 시간이 전달됩니다.
### 파이프라인에 트리거 연결
",
steps=[...],
sagemaker_session=,
)
custom_schedule = PipelineSchedule(
name="",
at=datetime(year=2023, month=12, date=25, hour=10, minute=30, second=30)
)
scheduled_pipeline.put_triggers(triggers=[custom_schedule], role_arn=)
```
### 현재 트리거 설명
")
```
### 트리거 리소스 정리
"])
```
**참고**
트리거를 삭제할 때 다음 제한 사항에 유의하세요.
트리거 이름을 지정하여 트리거를 삭제하는 옵션은 SageMaker Python SDK에서만 사용할 수 있습니다. CLI 또는 `DeletePipeline` API 직접 호출에서 파이프라인을 삭제해도 트리거는 삭제되지 않습니다. 따라서 트리거가 분리되고 SageMaker AI는 존재하지 않는 파이프라인에 대한 실행을 시작하려고 시도합니다.
또한 다른 노트북 세션을 사용 중이거나 파이프라인 대상을 이미 삭제한 경우 스케줄러 [CLI](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/scheduler/delete-schedule.html) 또는 EventBridge 콘솔을 통해 분리된 일정을 정리합니다.
# Amazon SageMaker Experiments 통합
`을 노트북 인스턴스를 생성하는 데 사용된 ARN으로 바꿉니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"iam:GetRole",
"iam:PassRole"
],
"Resource": "arn:aws:iam::111122223333:role/role-name"
}
]
}
```
------
+ [Modifying a role trust policy](https://docs.aws.amazon.com/IAM/latest/UserGuide/roles-managingrole-editing-cli.html#roles-managingrole_edit-trust-policy-cli)의 단계에 따라 SageMaker AI 서비스 위탁자를 신뢰합니다. 역할의 신뢰 관계에 다음 명령문 부분을 추가합니다.
```
{
"Sid": "",
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
```
#### 환경 설정
"
export AWS_REGION=""
```
1. 다음 명령을 사용하여 OIDC 공급자를 클러스터에 연결합니다. 자세한 내용은 [클러스터의 서비스 계정에 대한 IAM 역할 활성화](https://docs.aws.amazon.com/eks/latest/userguide/enable-iam-roles-for-service-accounts.html)를 참조하세요.
```
eksctl utils associate-iam-oidc-provider --cluster ${CLUSTER_NAME} \
--region ${AWS_REGION} --approve
```
출력은 다음과 같아야 합니다.
```
[_] eksctl version 0.10.1
[_] using region us-east-1
[_] IAM OpenID Connect provider is associated with cluster "my-cluster" in "us-east-1"
```
이제 클러스터에 OIDC ID 공급자가 있으므로 역할을 생성하고 Kubernetes ServiceAccount에 역할을 수임할 권한을 부여할 수 있습니다.
##### OIDC ID를 가져옵니다.
`, ``, ``자리 표시자를 모두 클러스터에 해당하는 값으로 바꿔야 합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::111122223333:oidc-provider/oidc.eks..amazonaws.com/id/"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"oidc.eks..amazonaws.com/id/:aud": "sts.amazonaws.com",
"oidc.eks..amazonaws.com/id/:sub": "system:serviceaccount:sagemaker-k8s-operator-system:sagemaker-k8s-operator-default"
}
}
}
]
}
```
------
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws-cn:iam::111122223333:oidc-provider/oidc.eks..amazonaws.com/id/"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"oidc.eks..amazonaws.com/id/:aud": "sts.amazonaws.com",
"oidc.eks..amazonaws.com/id/:sub": "system:serviceaccount:sagemaker-k8s-operator-system:sagemaker-k8s-operator-default"
}
}
}
]
}
```
------
1. `trust.json`에 정의된 신뢰 관계를 사용하여 역할을 생성하려면 다음 명령을 실행합니다. 이 역할을 통해 Amazon EKS 클러스터는 IAM으로부터 자격 증명을 가져오고 새로 고칠 수 있습니다.
```
aws iam create-role --region ${AWS_REGION} --role-name --assume-role-policy-document file://trust.json --output=text
```
출력은 다음과 같아야 합니다.
```
ROLE arn:aws:iam::123456789012:role/my-role 2019-11-22T21:46:10Z / ABCDEFSFODNN7EXAMPLE my-role
ASSUMEROLEPOLICYDOCUMENT 2012-10-17
STATEMENT sts:AssumeRoleWithWebIdentity Allow
STRINGEQUALS sts.amazonaws.com system:serviceaccount:sagemaker-k8s-operator-system:sagemaker-k8s-operator-default
PRINCIPAL arn:aws:iam::123456789012:oidc-provider/oidc.eks.us-east-1.amazonaws.com/id/
```
연산자에 전달하는 값인 `ROLE ARN`을 기록합니다.
##### AmazonSageMakerFullAccess 정책을 역할에 연결
--policy-arn arn:aws:iam::aws:policy/AmazonSageMakerFullAccess
```
Kubernetes ServiceAccount `sagemaker-k8s-operator-default`에는 `AmazonSageMakerFullAccess`권한이 있어야 합니다. 연산자를 설치할 때 이를 확인합니다.
##### 연산자 배포
"
export AWS_REGION=""
```
1. 다음 명령을 사용하여 OIDC 공급자를 클러스터에 연결합니다. 자세한 내용은 [클러스터의 서비스 계정에 대한 IAM 역할 활성화](https://docs.aws.amazon.com/eks/latest/userguide/enable-iam-roles-for-service-accounts.html)를 참조하세요.
```
eksctl utils associate-iam-oidc-provider --cluster ${CLUSTER_NAME} \
--region ${AWS_REGION} --approve
```
출력은 다음과 같아야 합니다.
```
[_] eksctl version 0.10.1
[_] using region us-east-1
[_] IAM OpenID Connect provider is associated with cluster "my-cluster" in "us-east-1"
```
이제 클러스터에 OIDC ID 공급자가 있으므로 역할을 생성하고 Kubernetes ServiceAccount에 역할을 수임할 권한을 부여합니다.
##### OIDC ID를 가져옵니다.
`, ``, ``, `` 자리 표시자를 모두 클러스터에 해당하는 값으로 바꿔야 합니다. 이 가이드의 목적상 `my-namespace`는 ``값에 사용됩니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::111122223333:oidc-provider/oidc.eks..amazonaws.com/id/"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"oidc.eks..amazonaws.com/id/:aud": "sts.amazonaws.com",
"oidc.eks..amazonaws.com/id/:sub": "system:serviceaccount::sagemaker-k8s-operator-default"
}
}
}
]
}
```
------
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws-cn:iam::111122223333:oidc-provider/oidc.eks..amazonaws.com/id/"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"oidc.eks..amazonaws.com/id/:aud": "sts.amazonaws.com",
"oidc.eks..amazonaws.com/id/:sub": "system:serviceaccount::sagemaker-k8s-operator-default"
}
}
}
]
}
```
------
1. `trust.json`에 정의된 신뢰 관계를 사용하여 역할을 생성하려면 다음 명령을 실행합니다. 이 역할을 통해 Amazon EKS 클러스터는 IAM으로부터 자격 증명을 가져오고 새로 고칠 수 있습니다.
```
aws iam create-role --region ${AWS_REGION} --role-name --assume-role-policy-document file://trust.json --output=text
```
출력은 다음과 같아야 합니다.
```
ROLE arn:aws:iam::123456789012:role/my-role 2019-11-22T21:46:10Z / ABCDEFSFODNN7EXAMPLE my-role
ASSUMEROLEPOLICYDOCUMENT 2012-10-17
STATEMENT sts:AssumeRoleWithWebIdentity Allow
STRINGEQUALS sts.amazonaws.com system:serviceaccount:my-namespace:sagemaker-k8s-operator-default
PRINCIPAL arn:aws:iam::123456789012:oidc-provider/oidc.eks.us-east-1.amazonaws.com/id/
```
`ROLE ARN`을 기록합니다. 이 값을 연산자에게 전달합니다.
##### AmazonSageMakerFullAccess 정책을 역할에 연결
--policy-arn arn:aws:iam::aws:policy/AmazonSageMakerFullAccess
```
Kubernetes ServiceAccount `sagemaker-k8s-operator-default`에는 `AmazonSageMakerFullAccess`권한이 있어야 합니다. 연산자를 설치할 때 이를 확인합니다.
##### 네임스페이스에 연산자를 배포합니다.
/g' operator.yaml
```
1. `operator.yaml` 파일을 편집하여 리소스를 `eks.amazonaws.com/role-arn`에 배치합니다. 여기서 ARN을 생성한 OIDC 기반 역할의 Amazon 리소스 이름(ARN)으로 바꿉니다.
1. 다음 명령을 사용하여 클러스터를 배포합니다.
```
kubectl apply -f operator.yaml
```
##### Helm 차트를 사용하여 네임스페이스에 연산자를 배포합니다.
helm install --n op operator_chart/
```
1. 잠시 후 차트가 해당 이름 `sagemaker-operator`와 함께 설치됩니다. 다음 명령을 실행하여 성공적으로 설치되었는지 확인합니다.
```
helm ls
```
출력은 다음과 같아야 합니다.
```
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
sagemaker-operator my-namespace 1 2019-11-20 23:14:59.6777082 +0000 UTC deployed sagemaker-k8s-operator-0.1.0
```
##### 네임스페이스에 대한 연산자 배포를 확인합니다.
```
#### 네임스페이스 기반 연산자를 삭제합니다.
```
##### Helm 차트로 설치된 연산자
# delete the crds
helm delete crds
# optionally delete the namespace
kubectl delete namespace
```
### 문제 해결
```
+ SageMaker AI에서 작업이 생성된 경우 다음 명령을 사용하여 `STATUS` 및 `SageMaker Job Name`을 볼 수 있습니다.
```
kubectl get
```
+ `smlogs`를 통해 다음 명령을 사용하여 문제의 원인을 찾을 수 있습니다.
```
kubectl smlogs
```
+ `describe` 명령을 통해 다음 명령을 사용하여 작업에 대한 세부 정보를 볼 수도 있습니다. 출력에는 작업 상태에 대한 자세한 정보가 있는 `additional`필드가 있습니다.
```
kubectl describe
```
+ SageMaker AI에서 작업이 생성되지 않은 경우 다음과 같이 운영자 포드의 로그를 사용하여 문제의 원인을 찾습니다.
```
$ kubectl get pods -A | grep sagemaker
# Output:
sagemaker-k8s-operator-system sagemaker-k8s-operator-controller-manager-5cd7df4d74-wh22z 2/2 Running 0 3h33m
$ kubectl logs -p -c manager -n sagemaker-k8s-operator-system
```
#### 연산자 CRD 삭제
```
1. 파일에서 다음 두 줄을 제거하여 파이널라이저를 삭제하도록 작업을 편집합니다. 파일을 저장하면 작업이 삭제됩니다.
```
finalizers:
- sagemaker-operator-finalizer
```
### 각 리전의 이미지 및 SMlog
`이 포함된 `roleArn` 파라미터 및 `outputPath`를 SageMaker AI 실행 역할에 쓰기 권한이 있는 Amazon S3 버킷으로 대체합니다. SageMaker AI가 사용자를 대신하여 Amazon S3, Amazon CloudWatch 및 기타 서비스에 액세스할 수 있으려면 `roleArn`에 권한이 있어야 합니다. SageMaker AI ExecutionRole 생성에 대한 자세한 내용은 [SageMaker AI Roles](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-roles.html#sagemaker-roles-createtrainingjob-perms)을 참조하세요. 다음 명령을 사용하여 YAML 파일을 적용합니다.
```
kubectl apply -f xgboost-mnist-trainingjob.yaml
```
### Helm 차트를 사용하여 훈련 작업 생성
Annotations:
API Version: sagemaker.aws.amazon.com/v1
Kind: TrainingJob
Metadata:
Creation Timestamp: 2019-11-20T23:42:35Z
Finalizers:
sagemaker-operator-finalizer
Generation: 2
Resource Version: 23119
Self Link: /apis/sagemaker.aws.amazon.com/v1/namespaces/default/trainingjobs/xgboost-mnist-from-for-s3
UID: 6d7uiui-0bef-11ea-b94e-0ed467example
Spec:
Algorithm Specification:
Training Image: 8256416981234.dkr.ecr.us-east-2.amazonaws.com/xgboost:1
Training Input Mode: File
Hyper Parameters:
Name: eta
Value: 0.2
Name: gamma
Value: 4
Name: max_depth
Value: 5
Name: min_child_weight
Value: 6
Name: num_class
Value: 10
Name: num_round
Value: 10
Name: objective
Value: multi:softmax
Name: silent
Value: 0
Input Data Config:
Channel Name: train
Compression Type: None
Content Type: text/csv
Data Source:
S 3 Data Source:
S 3 Data Distribution Type: FullyReplicated
S 3 Data Type: S3Prefix
S 3 Uri: https://s3-us-east-2.amazonaws.com/amzn-s3-demo-bucket/sagemaker/xgboost-mnist/train/
Channel Name: validation
Compression Type: None
Content Type: text/csv
Data Source:
S 3 Data Source:
S 3 Data Distribution Type: FullyReplicated
S 3 Data Type: S3Prefix
S 3 Uri: https://s3-us-east-2.amazonaws.com/amzn-s3-demo-bucket/sagemaker/xgboost-mnist/validation/
Output Data Config:
S 3 Output Path: s3://amzn-s3-demo-bucket/sagemaker/xgboost-mnist/xgboost/
Region: us-east-2
Resource Config:
Instance Count: 1
Instance Type: ml.m4.xlarge
Volume Size In GB: 5
Role Arn: arn:aws:iam::12345678910:role/service-role/AmazonSageMaker-ExecutionRole
Stopping Condition:
Max Runtime In Seconds: 86400
Training Job Name: xgboost-mnist-from-for-s3-6d7fa0af0bef11eab94e0example
Status:
Cloud Watch Log URL: https://us-east-2.console.aws.amazon.com/cloudwatch/home?region=us-east-2#logStream:group=/aws/sagemaker/TrainingJobs;prefix=;streamFilter=typeLogStreamPrefix
Last Check Time: 2019-11-20T23:44:29Z
Sage Maker Training Job Name: xgboost-mnist-from-for-s3-6d7fa0af0bef11eab94eexample
Secondary Status: Downloading
Training Job Status: InProgress
Events:
```
### 훈련 작업 로그 보기
```
#### 생성된 훈련 작업
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"sagemaker.aws.amazon.com/v1","kind":"HyperparameterTuningJob","metadata":{"annotations":{},"name":"xgboost-mnist-hpo","namespace":...
API Version: sagemaker.aws.amazon.com/v1
Kind: HyperparameterTuningJob
Metadata:
Creation Timestamp: 2019-10-17T01:15:52Z
Finalizers:
sagemaker-operator-finalizer
Generation: 2
Resource Version: 8167
Self Link: /apis/sagemaker.aws.amazon.com/v1/namespaces/default/hyperparametertuningjobs/xgboost-mnist-hpo
UID: a92f5e3c-f07b-11e9-bf6c-06d6f303uidu
Spec:
Hyper Parameter Tuning Job Config:
Hyper Parameter Tuning Job Objective:
Metric Name: validation:error
Type: Minimize
Parameter Ranges:
Integer Parameter Ranges:
Max Value: 20
Min Value: 10
Name: num_round
Scaling Type: Linear
Resource Limits:
Max Number Of Training Jobs: 10
Max Parallel Training Jobs: 10
Strategy: Bayesian
Training Job Early Stopping Type: Off
Hyper Parameter Tuning Job Name: xgboostha92f5e3cf07b11e9bf6c06d6
Region: us-east-2
Training Job Definition:
Algorithm Specification:
Training Image: 12345678910.dkr.ecr.us-east-2.amazonaws.com/xgboost:1
Training Input Mode: File
Input Data Config:
Channel Name: train
Content Type: text/csv
Data Source:
s3DataSource:
s3DataDistributionType: FullyReplicated
s3DataType: S3Prefix
s3Uri: https://s3-us-east-2.amazonaws.com/amzn-s3-demo-bucket/sagemaker/xgboost-mnist/train/
Channel Name: validation
Content Type: text/csv
Data Source:
s3DataSource:
s3DataDistributionType: FullyReplicated
s3DataType: S3Prefix
s3Uri: https://s3-us-east-2.amazonaws.com/amzn-s3-demo-bucket/sagemaker/xgboost-mnist/validation/
Output Data Config:
s3OutputPath: https://s3-us-east-2.amazonaws.com/amzn-s3-demo-bucket/sagemaker/xgboost-mnist/xgboost
Resource Config:
Instance Count: 1
Instance Type: ml.m4.xlarge
Volume Size In GB: 5
Role Arn: arn:aws:iam::123456789012:role/service-role/AmazonSageMaker-ExecutionRole
Static Hyper Parameters:
Name: base_score
Value: 0.5
Name: booster
Value: gbtree
Name: csv_weights
Value: 0
Name: dsplit
Value: row
Name: grow_policy
Value: depthwise
Name: lambda_bias
Value: 0.0
Name: max_bin
Value: 256
Name: max_leaves
Value: 0
Name: normalize_type
Value: tree
Name: objective
Value: reg:linear
Name: one_drop
Value: 0
Name: prob_buffer_row
Value: 1.0
Name: process_type
Value: default
Name: rate_drop
Value: 0.0
Name: refresh_leaf
Value: 1
Name: sample_type
Value: uniform
Name: scale_pos_weight
Value: 1.0
Name: silent
Value: 0
Name: sketch_eps
Value: 0.03
Name: skip_drop
Value: 0.0
Name: tree_method
Value: auto
Name: tweedie_variance_power
Value: 1.5
Stopping Condition:
Max Runtime In Seconds: 86400
Status:
Best Training Job:
Creation Time: 2019-10-17T01:16:14Z
Final Hyper Parameter Tuning Job Objective Metric:
Metric Name: validation:error
Value:
Objective Status: Succeeded
Training End Time: 2019-10-17T01:20:24Z
Training Job Arn: arn:aws:sagemaker:us-east-2:123456789012:training-job/xgboostha92f5e3cf07b11e9bf6c06d6-009-4sample
Training Job Name: xgboostha92f5e3cf07b11e9bf6c06d6-009-4c7a3059
Training Job Status: Completed
Training Start Time: 2019-10-17T01:18:35Z
Tuned Hyper Parameters:
Name: num_round
Value: 18
Hyper Parameter Tuning Job Status: Completed
Last Check Time: 2019-10-17T01:21:01Z
Sage Maker Hyper Parameter Tuning Job Name: xgboostha92f5e3cf07b11e9bf6c06d6
Training Job Status Counters:
Completed: 10
In Progress: 0
Non Retryable Error: 0
Retryable Error: 0
Stopped: 0
Total Error: 0
Events:
```
### 하이퍼파라미터 조정 작업 로그 보기
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"sagemaker.aws.amazon.com/v1","kind":"BatchTransformJob","metadata":{"annotations":{},"name":"xgboost-mnist","namespace"...
API Version: sagemaker.aws.amazon.com/v1
Kind: BatchTransformJob
Metadata:
Creation Timestamp: 2019-11-18T03:44:00Z
Finalizers:
sagemaker-operator-finalizer
Generation: 2
Resource Version: 21990924
Self Link: /apis/sagemaker.aws.amazon.com/v1/namespaces/default/batchtransformjobs/xgboost-mnist
UID: a88fb198-09b5-11ea-ac44-0aa8a9UIDNUM
Spec:
Model Name: TrainingJob-20190814SMJOb-IKEB
Region: us-east-1
Transform Input:
Content Type: text/csv
Data Source:
S 3 Data Source:
S 3 Data Type: S3Prefix
S 3 Uri: s3://amzn-s3-demo-bucket/mnist_kmeans_example/input
Transform Job Name: xgboost-mnist-a88fb19809b511eaac440aa8a9SMJOB
Transform Output:
S 3 Output Path: s3://amzn-s3-demo-bucket/mnist_kmeans_example/output
Transform Resources:
Instance Count: 1
Instance Type: ml.m4.xlarge
Status:
Last Check Time: 2019-11-19T22:50:40Z
Sage Maker Transform Job Name: xgboost-mnist-a88fb19809b511eaac440aaSMJOB
Transform Job Status: Completed
Events:
```
### 배치 변환 작업 로그 보기
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"sagemaker.aws.amazon.com/v1","kind":"HostingDeployment","metadata":{"annotations":{},"name":"host-xgboost","namespace":"def..."
API Version: sagemaker.aws.amazon.com/v1
Kind: HostingDeployment
Metadata:
Creation Timestamp: 2019-11-22T19:40:00Z
Finalizers:
sagemaker-operator-finalizer
Generation: 1
Resource Version: 4258134
Self Link: /apis/sagemaker.aws.amazon.com/v1/namespaces/default/hostingdeployments/host-xgboost
UID: def0e83e-0d5f-11ea-aa45-0a3507uiduid
Spec:
Containers:
Container Hostname: xgboost
Image: 123456789012.dkr.ecr.us-east-2.amazonaws.com/xgboost:latest
Model Data URL: s3://amzn-s3-demo-bucket/inference/xgboost-mnist/model.tar.gz
Models:
Containers:
xgboost
Execution Role Arn: arn:aws:iam::123456789012:role/service-role/AmazonSageMaker-ExecutionRole
Name: xgboost-model
Primary Container: xgboost
Production Variants:
Initial Instance Count: 1
Instance Type: ml.c5.large
Model Name: xgboost-model
Variant Name: all-traffic
Region: us-east-2
Status:
Creation Time: 2019-11-22T19:40:04Z
Endpoint Arn: arn:aws:sagemaker:us-east-2:123456789012:endpoint/host-xgboost-def0e83e0d5f11eaaaexample
Endpoint Config Name: host-xgboost-1-def0e83e0d5f11e-e08f6c510d5f11eaaa450aexample
Endpoint Name: host-xgboost-def0e83e0d5f11eaaa450a350733ba06
Endpoint Status: Creating
Endpoint URL: https://runtime.sagemaker.us-east-2.amazonaws.com/endpoints/host-xgboost-def0e83e0d5f11eaaaexample/invocations
Last Check Time: 2019-11-22T19:43:57Z
Last Modified Time: 2019-11-22T19:40:04Z
Model Names:
Name: xgboost-model
Value: xgboost-model-1-def0e83e0d5f11-df5cc9fd0d5f11eaaa450aexample
Events:
```
상태 필드는 다음 필드를 사용하여 자세한 정보를 제공합니다.
+ `Additional`: 호스팅 배포 상태에 대한 추가 정보입니다. 이 필드는 선택 사항이며 오류가 발생한 경우에만 입력됩니다.
+ `Creation Time`: SageMaker AI에서 엔드포인트를 생성한 시점입니다.
+ `Endpoint ARN`: SageMaker AI 엔드포인트 ARN입니다.
+ `Endpoint Config Name`: 엔드포인트 구성의 SageMaker AI 이름입니다.
+ `Endpoint Name`: 엔드포인트의 SageMaker AI 이름입니다.
+ `Endpoint Status`: 엔드포인트의 상태입니다.
+ `Endpoint URL`: 엔드포인트에 액세스하는 데 사용할 수 있는 HTTPS URL입니다. 자세한 내용은 [Deploy a Model on SageMaker AI Hosting Services](https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html)를 참조하세요.
+ `FailureReason`: 생성, 업데이트 또는 삭제 명령이 실패할 경우 원인을 표시합니다.
+ `Last Check Time`: 연산자가 엔드포인트의 상태를 마지막으로 확인한 시간입니다.
+ `Last Modified Time`: 엔드포인트를 마지막으로 수정한 시간입니다.
+ `Model Names`: HostingDeployment 모델 이름을 SageMaker AI 모델 이름에 연결하는 키-값 페어입니다.
### API 엔드포인트 호출
\
--body $(seq 784 | xargs echo | sed 's/ /,/g') \
>(cat) \
--content-type text/csv > /dev/null
```
예를 들어 리전이 `us-east-2`이고 엔드포인트 구성 이름이 `host-xgboost-f56b6b280d7511ea824b129926example`인 경우 다음 명령으로 엔드포인트를 호출합니다.
```
aws sagemaker-runtime invoke-endpoint \
--region us-east-2 \
--endpoint-name host-xgboost-f56b6b280d7511ea824b1299example \
--body $(seq 784 | xargs echo | sed 's/ /,/g') \
>(cat) \
--content-type text/csv > /dev/null
4.95847082138
```
여기 `4.95847082138`은 모의 데이터에 대한 모델의 예측입니다.
### 호스팅 배포 업데이트
:role/service-role/
...
processingOutputConfig:
outputs:
...
s3Output:
s3Uri: s3:///mnist_kmeans_example/output/
...
processingInputs:
...
s3Input:
s3Uri: s3:///mnist_kmeans_example/processing_code/kmeans_preprocessing.py
```
SageMaker AI가 사용자를 대신하여 S3 버킷, Amazon CloudWatch 및 기타 서비스에 액세스할 수 있으려면 `sagemaker-execution-role`에 권한이 있어야 합니다. 실행 역할 생성에 대한 자세한 내용은 [SageMaker AI Roles](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-roles.html#sagemaker-roles-createtrainingjob-perms)을 참조하세요.
1. 다음 명령 중 하나를 사용하여 YAML 파일을 적용합니다.
클러스터 범위 설치의 경우:
```
kubectl apply -f kmeans-mnist-processingjob.yaml
```
네임스페이스 범위 설치의 경우:
```
kubectl apply -f kmeans-mnist-processingjob.yaml -n
```
### 처리 작업 나열
kmeans-mnist-processing
```
출력은 다음과 비슷한 형태가 됩니다.
```
NAME STATUS CREATION-TIME SAGEMAKER-JOB-NAME
kmeans-mnist-processing InProgress 2020-09-22T21:13:25Z kmeans-mnist-processing-7410ed52fd1811eab19a165ae9f9e385
```
출력에는 상태와 상관없이 모든 작업이 나열됩니다. 목록에서 작업을 제거하려면 [처리 작업 삭제](https://docs.aws.amazon.com/sagemaker/latest/dg/kubernetes-processing-job-operator.html#kubernetes-processing-job-delete)를 참조하세요.
**처리 상태 처리**
+ `SynchronizingK8sJobWithSageMaker` – 작업이 먼저 클러스터에 제출됩니다. 연산자가 요청을 받았으며 처리 작업을 생성할 준비를 하고 있습니다.
+ `Reconciling` – 연산자가 다른 오류와 함께 일시적 오류를 초기화하거나 복구 중입니다. 처리 작업이 이 상태로 유지되는 경우 `kubectl``describe`명령을 사용하여 `Additional`필드에서 이유를 확인합니다.
+ `InProgress | Completed | Failed | Stopping | Stopped` – SageMaker Processing 작업 상태입니다. 자세한 내용은 [처리 작업 설명](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeProcessingJob.html#sagemaker-DescribeProcessingJob-response-ProcessingJobStatus)을 참조하세요.
+ `Error` – 연산자는 조정을 통해 복구할 수 없습니다.
완료, 중지 또는 실패한 작업에는 SageMaker AI 리소스에 대한 추가 요금이 부과되지 않습니다.
### 처리 작업 설명
```
처리 작업의 출력은 다음과 비슷한 형태가 됩니다.
```
$ kubectl describe ProcessingJob kmeans-mnist-processing
Name: kmeans-mnist-processing
Namespace: default
Labels:
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"sagemaker.aws.amazon.com/v1","kind":"ProcessingJob","metadata":{"annotations":{},"name":"kmeans-mnist-processing",...
API Version: sagemaker.aws.amazon.com/v1
Kind: ProcessingJob
Metadata:
Creation Timestamp: 2020-09-22T21:13:25Z
Finalizers:
sagemaker-operator-finalizer
Generation: 2
Resource Version: 21746658
Self Link: /apis/sagemaker.aws.amazon.com/v1/namespaces/default/processingjobs/kmeans-mnist-processing
UID: 7410ed52-fd18-11ea-b19a-165ae9f9e385
Spec:
App Specification:
Container Entrypoint:
python
/opt/ml/processing/code/kmeans_preprocessing.py
Image Uri: 763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-training:1.5.0-cpu-py36-ubuntu16.04
Environment:
Name: MYVAR
Value: my_value
Name: MYVAR2
Value: my_value2
Network Config:
Processing Inputs:
Input Name: mnist_tar
s3Input:
Local Path: /opt/ml/processing/input
s3DataType: S3Prefix
s3InputMode: File
s3Uri: s3://-us-west-2/algorithms/kmeans/mnist/mnist.pkl.gz
Input Name: source_code
s3Input:
Local Path: /opt/ml/processing/code
s3DataType: S3Prefix
s3InputMode: File
s3Uri: s3:///mnist_kmeans_example/processing_code/kmeans_preprocessing.py
Processing Output Config:
Outputs:
Output Name: train_data
s3Output:
Local Path: /opt/ml/processing/output_train/
s3UploadMode: EndOfJob
s3Uri: s3:///mnist_kmeans_example/output/
Output Name: test_data
s3Output:
Local Path: /opt/ml/processing/output_test/
s3UploadMode: EndOfJob
s3Uri: s3:///mnist_kmeans_example/output/
Output Name: valid_data
s3Output:
Local Path: /opt/ml/processing/output_valid/
s3UploadMode: EndOfJob
s3Uri: s3:///mnist_kmeans_example/output/
Processing Resources:
Cluster Config:
Instance Count: 1
Instance Type: ml.m5.xlarge
Volume Size In GB: 20
Region: us-west-2
Role Arn: arn:aws:iam:::role/m-sagemaker-role
Stopping Condition:
Max Runtime In Seconds: 1800
Tags:
Key: tagKey
Value: tagValue
Status:
Cloud Watch Log URL: https://us-west-2.console.aws.amazon.com/cloudwatch/home?region=us-west-2#logStream:group=/aws/sagemaker/ProcessingJobs;prefix=kmeans-mnist-processing-7410ed52fd1811eab19a165ae9f9e385;streamFilter=typeLogStreamPrefix
Last Check Time: 2020-09-22T21:14:29Z
Processing Job Status: InProgress
Sage Maker Processing Job Name: kmeans-mnist-processing-7410ed52fd1811eab19a165ae9f9e385
Events:
```
### 처리 작업 삭제
```
처리 작업의 출력은 다음과 비슷한 형태가 됩니다.
```
processingjob.sagemaker.aws.amazon.com "kmeans-mnist-processing" deleted
```
**참고**
SageMaker AI는 처리 작업을 삭제하지 않습니다. 중지된 작업은 SageMaker AI 콘솔에 계속 표시됩니다. `delete` 명령이 SageMaker AI에서 리소스를 정리하는 데 몇 분 정도 걸립니다.
## 호스팅 오토 스케일링 정책(HAP) 연산자
```
#### 샘플 2: 사용자 지정 지표를 단일 엔드포인트 변형에 적용
```
#### 샘플 3: 스케일링 정책을 여러 엔드포인트 및 변형에 적용
```
#### 여러 엔드포인트 및 변형에 대한 호스팅 오토 스케일링 정책 고려 사항
```
출력은 다음과 비슷한 형태가 됩니다.
```
NAME STATUS CREATION-TIME
hap-predefined Created 2021-07-13T21:32:21Z
```
다음 명령을 사용하여 호스팅 오토 스케일링 정책(HAP)의 상태를 확인합니다.
```
kubectl get hap
```
다음 값 중 하나가 반환됩니다.
+ `Reconciling` – 특정 유형의 오류에는 상태가 `Error`대신 `Reconciling`상태로 표시됩니다. 서버 측 오류와 `Creating`또는 `Updating`상태의 엔드포인트를 예로 들 수 있습니다. 세부 정보는 상태 또는 연산자 로그의 `Additional`필드를 확인하세요.
+ `Created`
+ `Error`
**정책을 적용한 오토 스케일링 엔드포인트를 보려면**
1. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)에서 Amazon SageMaker AI 콘솔을 엽니다.
1. 왼쪽 패널에서 **추론**을 확장합니다.
1. **엔드포인트**를 선택합니다.
1. 관심 엔드포인트의 이름을 선택합니다.
1. **엔드포인트 구성 설정** 섹션으로 스크롤합니다.
### 호스팅 오토 스케일링 정책 설명
```
### 호스팅 오토 스케일링 정책 업데이트
```
이 명령은 스케일링 정책을 삭제하고 Kubernetes에서 스케일링 대상을 등록 취소합니다. 이 명령은 다음 출력을 반환합니다.
```
hostingautoscalingpolicies.sagemaker.aws.amazon.com "hap-predefined" deleted
```
### 호스팅 오토 스케일링 정책이 있는 엔드포인트 업데이트 또는 삭제
`를 클러스터 이름으로 바꿉니다.
```
eksctl create cluster --name --region us-east-1 --auto-kubeconfig --timeout=50m --managed --nodes=1
```
1. 클러스터 생성이 완료되면 클러스터의 노드를 나열하여 클러스터에 액세스할 수 있는지 확인합니다.
```
kubectl get nodes
```
1. 다음 명령을 사용하여 현재 `kubectl`컨텍스트가 클러스터를 가리키는지 확인합니다. 현재 컨텍스트는 출력에 별표(\$1)로 표시됩니다.
```
kubectl config get-contexts
CURRENT NAME CLUSTER
* @.us-east-1.eksctl.io .us-east-1.eksctl.io
```
1. 원하는 클러스터가 현재 기본값으로 구성되지 않은 경우 다음 명령을 사용하여 기본값을 업데이트합니다.
```
aws eks update-kubeconfig --name --region us-east-1
```
#### Kubeflow 파이프라인 설치
8888/TCP,8887/TCP 2d
service/ml-pipeline-ui ClusterIP 10.100.38.71 80/TCP 2d
service/ml-pipeline-visualizationserver ClusterIP 10.100.61.47 8888/TCP 2d
deployment.apps/ml-pipeline 1/1 1 1 2d
deployment.apps/ml-pipeline-persistenceagent 1/1 1 1 2d
deployment.apps/ml-pipeline-scheduledworkflow 1/1 1 1 2d
deployment.apps/ml-pipeline-ui 1/1 1 1 2d
deployment.apps/ml-pipeline-viewer-crd 1/1 1 1 2d
deployment.apps/ml-pipeline-visualizationserver 1/1 1 1 2d
replicaset.apps/ml-pipeline-6b88c67994 1 1 1 2d
replicaset.apps/ml-pipeline-persistenceagent-64d74dfdbf 1 1 1 2d
replicaset.apps/ml-pipeline-scheduledworkflow-65bdf46db7 1 1 1 2d
replicaset.apps/ml-pipeline-ui-66cc4cffb6 1 1 1 2d
replicaset.apps/ml-pipeline-viewer-crd-6db65ccc4 1 1 1 2d
replicaset.apps/ml-pipeline-visualizationserver-9c47576f4 1 1 1 2d
```
## SageMaker AI에 액세스할 수 있도록 파이프라인 권한을 구성합니다.
Kubeflow Pipelines용 SageMaker AI 구성 요소 버전 1을 실행하려면 Kubeflow 파이프라인 포드에 SageMaker AI에 대한 액세스 권한이 필요합니다.
**중요**
AWS 배포 시 전체 Kubeflow를 사용하는지 아니면 Kubeflow Pilepines를 독립적으로 사용하는지이 섹션을 따르세요.
Kubeflow 파이프라인 포드에 SageMaker AI에 대한 액세스 권한을 부여하는 IAM 실행 역할을 생성하려면 다음 단계를 따르세요.
1. 클러스터 이름(예: *my-cluster-name*) 및 클러스터 리전(예: *us-east-1*)을 내보냅니다.
```
export CLUSTER_NAME=my-cluster-name
export CLUSTER_REGION=us-east-1
```
1. 설치에 따라 네임스페이스와 서비스 계정 이름을 내보냅니다.
+ AWS 설치 시 전체 Kubeflow의 경우 프로파일`namespace`(예: *kubeflow-user-example-com*) 및 *기본 편집기*를 서비스 계정으로 내보냅니다.
```
export NAMESPACE=kubeflow-user-example-com
export KUBEFLOW_PIPELINE_POD_SERVICE_ACCOUNT=default-editor
```
+ 독립형 파이프라인 배포의 경우 *kubeflow*를 `namespace`로, *pipeline-runner*를 서비스 계정으로 내보냅니다.
```
export NAMESPACE=kubeflow
export KUBEFLOW_PIPELINE_POD_SERVICE_ACCOUNT=pipeline-runner
```
1. 다음 명령을 사용하여 [Amazon EKS용 IAM OIDC 공급자](https://docs.aws.amazon.com/eks/latest/userguide/enable-iam-roles-for-service-accounts.html)를 생성합니다.
```
eksctl utils associate-iam-oidc-provider --cluster ${CLUSTER_NAME} \
--region ${CLUSTER_REGION} --approve
```
1. KFP 포드가 AWS 서비스에 액세스할 수 있도록 IAM 실행 역할을 생성합니다(SageMaker AI, CloudWatch).
```
eksctl create iamserviceaccount \
--name ${KUBEFLOW_PIPELINE_POD_SERVICE_ACCOUNT} \
--namespace ${NAMESPACE} --cluster ${CLUSTER_NAME} \
--region ${CLUSTER_REGION} \
--attach-policy-arn arn:aws:iam::aws:policy/AmazonSageMakerFullAccess \
--attach-policy-arn arn:aws:iam::aws:policy/CloudWatchLogsFullAccess \
--override-existing-serviceaccounts \
--approve
```
파이프라인 권한이 SageMaker AI 구성 요소 버전 1에 액세스하도록 구성되면 Kubeflow[ on AWS 설명서의 Kubeflow](https://awslabs.github.io/kubeflow-manifests/docs/amazon-sagemaker-integration/sagemaker-components-for-kubeflow-pipelines/) 파이프라인용 SageMaker AI 구성 요소 가이드를 따르세요.
## KFP UI(Kubeflow 대시보드) 액세스
80/TCP 2d22h
```
1. 다음 명령을 실행하여 KFP UI 서비스에 포트 포워딩을 설정합니다. 그러면 KFP UI가 게이트웨이 노드의 포트 8080으로 전달되고 브라우저에서 KFP UI에 액세스할 수 있습니다.
```
kubectl port-forward -n kubeflow service/ml-pipeline-ui 8080:80
```
활동이 없으면 원격 시스템에서 포워딩되는 포트가 끊깁니다. 대시보드에서 로그나 업데이트를 가져올 수 없는 경우 이 명령을 다시 실행하세요. 명령에서 오류가 반환되는 경우 사용하려는 포트에서 이미 실행 중인 프로세스가 없는지 확인합니다.
#### KFP UI 서비스 액세스
`를 Amazon EC2 콘솔에 있는 인스턴스의 IP 주소로 바꿉니다. 공개 DNS를 사용할 수도 있습니다. ``를 게이트웨이 노드에 액세스하는 데 사용되는 pem 키 경로로 바꿉니다.
```
public_DNS_address=
key=
on Ubuntu:
ssh -i ${key} -L 9000:localhost:8080 ubuntu@${public_DNS_address}
or on Amazon Linux:
ssh -i ${key} -L 9000:localhost:8080 ec2-user@${public_DNS_address}
```
1. 브라우저에서 대시보드에 액세스합니다.
```
http://localhost:9000
```
1. **파이프라인**을 선택하여 KFP UI에 액세스합니다.
#### (선택 사항) SageMaker AI 노트북 인스턴스에 Amazon EKS에 대한 액세스 권한을 부여하고 노트북에서 KFP 파이프라인을 실행합니다.
`을 인스턴스의 이름으로 바꿉니다.
```
aws sagemaker describe-notebook-instance --notebook-instance-name --region --output text --query 'RoleArn'
```
이 명령은 IAM 역할 ARN을 `arn:aws:iam:::role/`형식으로 출력합니다. ARN을 기록해 둡니다.
1. 이 명령을 실행하여 다음 정책(Amazon SageMakerFullAccess, AmazonSWorkerNodePolicy, AmazonS3FullAccess)을 이 IAM 역할에 연결합니다. ``을 ARN의 ``으로 바꿉니다.
```
aws iam attach-role-policy --role-name --policy-arn arn:aws:iam::aws:policy/AmazonSageMakerFullAccess
aws iam attach-role-policy --role-name --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy
aws iam attach-role-policy --role-name --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess
```
1. Amazon EKS 클러스터는 IAM 역할을 사용하여 클러스터에 대한 액세스를 제어합니다. 규칙은 `aws-auth`라는 구성 맵에 구현됩니다. `eksctl`은 `aws-auth`구성 맵을 읽고 편집하는 명령을 제공합니다. 클러스터에 액세스할 수 있는 사용자만 이 구성 맵을 편집할 수 있습니다.
`system:masters`는 클러스터에 대한 수퍼 사용자 권한이 있는 기본 사용자 그룹 중 하나입니다. 이 그룹에 사용자를 추가하거나 더 제한적인 권한을 가진 그룹을 생성합니다.
1. 다음 명령을 실행하여 클러스터에 역할을 바인딩합니다. ``을 IAM 역할의 ARN으로 바꿉니다. ``은 고유한 사용자 이름이 될 수 있습니다.
```
eksctl create iamidentitymapping \
--cluster \
--arn \
--group system:masters \
--username \
--region
```
1. SageMaker AI 인스턴스에서 Jupyter Notebook을 열고 다음 명령을 실행하여 클러스터에 액세스할 수 있는지 확인합니다.
```
aws eks --region update-kubeconfig --name
kubectl -n kubeflow get all | grep pipeline
```
# SageMaker AI 구성 요소 사용
`을 S3 버킷의 이름으로 변경합니다.
```
aws s3 cp mnist-kmeans-sagemaker/kmeans_preprocessing.py s3:///mnist_kmeans_example/processing_code/kmeans_preprocessing.py
```
### 파이프라인 컴파일 및 배포
`을 파이프라인 경로로, ``을 tar.gz 파일을 배치할 위치로 바꿉니다.
```
dsl-compile --py --output
```
#### KFP CLI를 사용하여 파이프라인을 업로드하고 실행합니다.
```
출력은 다음과 같아야 합니다. 파이프라인 `ID`를 기록해 둡니다.
```
Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
Pipeline Details
------------------
ID 29c3ff21-49f5-4dfe-94f6-618c0e2420fe
Name sm-pipeline
Description
Uploaded at 2020-04-30T20:22:39+00:00
...
...
```
1. 다음 명령을 사용하여 실행을 생성합니다. KFP CLI 실행 명령은 현재 실행 생성 중 입력 파라미터 지정을 지원하지 않습니다. 컴파일하기 전에 AWS SDK for Python (Boto3) 파이프라인 파일에서 파라미터를 업데이트해야 합니다. `` 및 ``을 원하는 이름으로 바꿉니다. ``를 제출한 파이프라인의 ID로 바꿉니다. ``을 `kfp-example-pod-role`의 ARN으로 바꿉니다. ``을 생성한 Amazon S3 버킷 이름으로 바꿉니다.
```
kfp run submit --experiment-name --run-name --pipeline-id role_arn="" bucket_name=""
```
`dsl-compile` 명령의 출력으로 생성된 컴파일된 파이프라인 패키지를 사용하여 실행을 직접 제출할 수도 있습니다.
```
kfp run submit --experiment-name --run-name --package-file role_arn="" bucket_name=""
```
출력은 다음과 같아야 합니다.
```
Creating experiment aws.
Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
+--------------------------------------+--------+----------+---------------------------+
| run id | name | status | created at |
+======================================+========+==========+===========================+
| 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job | | 2020-04-30T20:36:41+00:00 |
+--------------------------------------+--------+----------+---------------------------+
```
1. UI로 이동하여 작업 진행 상황을 확인합니다.
#### KFP UI를 사용하여 파이프라인을 업로드하고 실행합니다.
./sagemaker-invoke.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"sagemaker:InvokeEndpoint"
],
"Resource": "*"
}
]
}
EoF
```
1. 정책을 클라이언트 노드의 IAM 역할에 연결합니다.
다음 명령을 실행합니다. ``을 IAM 역할의 이름으로 바꿉니다. ``을 생성한 정책 파일의 경로로 바꿉니다.
```
aws iam put-role-policy --role-name --policy-name sagemaker-invoke-for-worker --policy-document file://
```
#### 예측 실행
'
region = boto3.Session().region_name
# S3 bucket where the original mnist data is downloaded and stored
downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
downloaded_data_prefix = "1p-notebooks-datasets/mnist"
# Download the dataset
s3 = boto3.client("s3")
s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
# Load the dataset
with gzip.open('mnist.pkl.gz', 'rb') as f:
train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
# Simple function to create a csv from our numpy array
def np2csv(arr):
csv = io.BytesIO()
numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
return csv.getvalue().decode().rstrip()
runtime = boto3.Session(region).client('sagemaker-runtime')
payload = np2csv(train_set[0][30:31])
response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
ContentType='text/csv',
Body=payload)
result = json.loads(response['Body'].read().decode())
print(result)
```
1. 다음과 같이 AWS SDK for Python (Boto3) 파일을 실행합니다.
```
python mnist-predictions.py
```
### 결과 및 로그 보기
```
### 정리
```
1. AWS 계정을 사용하여 SageMaker AI 서비스에 로그인합니다. 모든 훈련, 배치 변환 및 HPO 작업을 수동으로 중지합니다. 모델, 데이터 버킷, 엔드포인트를 삭제하여 추가 비용이 발생하지 않도록 합니다. 파이프라인 실행을 종료해도 SageMaker AI의 작업은 중지되지 않습니다.
# SageMaker 노트북
--resource-policy "{\"Version\":\"2012-10-17\", \"Statement\":[{\"Sid\":
\"ExampleResourcePolicy\",\"Effect\":\"Allow\",\"Principal\":,
\"Action\":[\"sagemaker:DescribeModelPackage\",
\"sagemaker:ListModelPackages\",\"sagemaker:DescribeModelPackageGroup\"],
\"Resource\":[\",\"
\"arn:aws:sagemaker:::model-package/
/*\"]}]}"
```
**참고**
다양한 작업 조합을 리소스 정책에 연결할 수 있습니다. 사용자 지정 정책의 경우 만든 권한은 모델 패키지 그룹 소유자가 승격해야 하며 승격된 권한이 연결된 엔터티만 검색할 수 있습니다. 승격할 수 없는 리소스 공유는 AWS RAM을 통해 검색하거나 관리할 수 없습니다.
1. 이 리소스 공유 ARN을 AWS RAM 생성했는지 확인하려면 다음 명령을 사용합니다.
```
aws ram get-resource-share-associations --association-type resource --resource-arn
```
응답에는 엔터티에 대한 *resource-share-arn*이 포함됩니다.
1. 연결된 정책 권한이 관리형 정책인지 또는 사용자 지정 정책인지 확인하려면 다음 명령을 사용합니다.
```
aws ram list-resource-share-permissions --resource-share-arn
```
`featureSet` 필드에는 다음과 같이 정의된 `CREATED_FROM_POLICY` 또는 `STANDARD` 값이 지정될 수 있습니다.
+ `STANDARD`: 권한이 이미 있습니다.
+ `CREATED_FROM_POLICY`: 엔터티를 검색하려면 권한을 승격해야 합니다. 자세한 내용은 [권한 및 리소스 공유 승격](model-registry-ram-promote.md) 단원을 참조하십시오.
1. 모델 소비자 계정에서 리소스 공유 초대를 수락합니다.
1. 모델 패키지 그룹 소비자는 리소스 공유 초대를 수락합니다. 모든 리소스 초대를 보려면 다음 명령을 실행합니다.
```
aws ram get-resource-share-invitations
```
상태가 `PENDING`인 요청을 식별하고 소유자 계정의 계정 ID를 포함합니다.
1. 다음 명령을 사용하여 모델 소유자의 리소스 공유 초대를 수락합니다.
```
aws ram accept-resource-share-invitation --resource-share-invitation-arn
```
------
#### [ AWS RAM console ]
1. [AWS RAM 콘솔](https://console.aws.amazon.com/ram/home)에 로그인합니다.
1. 다음 단계를 완료하여 모델 패키지 그룹 소유자 계정에서 리소스 공유를 만듭니다.
1. 리소스 공유 세부 정보 지정을 위한 다음 단계를 완료합니다.
1. **이름** 필드에 리소스의 고유한 이름을 추가합니다.
1. **리소스** 카드에서 드롭다운 메뉴를 선택하고 **SageMaker AI 모델 패키지 그룹**을 선택합니다.
1. 모델 패키지 그룹 리소스 공유의 ARN 확인란을 선택합니다.
1. **리소스 선택** 카드에서 모델 패키지 그룹 리소스 공유의 확인란을 선택합니다.
1. **태그** 카드에서 리소스 공유에 추가할 태그의 키-값 쌍을 추가합니다.
1. **다음**을 선택합니다.
1. 다음 단계를 완료하여 관리형 권한을 리소스 공유에 연결합니다.
1. 관리형 권한을 사용하는 경우 **관리형 권한** 드롭다운 메뉴에서 관리형 권한을 선택합니다.
1. 사용자 지정 권한을 사용하는 경우 **고객 관리형 권한**을 선택합니다. 이 경우 모델 패키지 그룹을 즉시 검색할 수 없습니다. 리소스 공유를 만든 후 권한과 리소스 정책을 승격해야 합니다. 권한 및 리소스 공유를 승격하는 방법에 대한 자세한 내용은 [권한 및 리소스 공유 승격](model-registry-ram-promote.md) 섹션을 참조하세요. 사용자 지정 권한을 연결하는 방법에 대한 자세한 내용은 [Creating and using customer managed permissions in AWS RAM](https://docs.aws.amazon.com/ram/latest/userguide/create-customer-managed-permissions.html)을 참조하세요.
1. **다음**을 선택합니다.
1. 위탁자에 대한 액세스 권한을 부여하려면 다음 단계를 완료하세요.
1. 조직 외부의 계정과 공유할 수 있도록 **누구에게나 공유 허용**을 선택하거나 **조직 내에서만 공유 허용**을 선택합니다.
1. **위탁자 유형 선택** 드롭다운 메뉴에서 추가하려는 위탁자의 위탁자 유형과 ID를 추가합니다.
1. 공유에 대해 선택한 위탁자를 추가하고 선택합니다.
1. **다음**을 선택합니다.
1. 표시된 공유 구성을 검토한 다음 **리소스 공유 만들기**를 선택합니다.
1. 소비자 계정에서 리소스 공유 초대를 수락합니다. 모델 소유자가 리소스 공유와 위탁자 연결을 만들면 지정된 리소스 소비자 계정에 리소스 공유에 참여하라는 초대가 발송됩니다. 리소스 소비자 계정은 AWS RAM 콘솔에서 [나와 공유됨: 리소스 공유](https://console.aws.amazon.com/ram/home#SharedResourceShares:) 페이지에서 초대를 보고 수락할 수 있습니다. 에서 리소스를 수락하고 보는 방법에 대한 자세한 내용은 공유된 리소스 액세스를 AWS RAM참조하세요. [AWS](https://docs.aws.amazon.com//ram/latest/userguide/working-with-shared.html)
------
# 공유된 모델 패키지 그룹 보기
--principals
```
리소스 공유를 삭제하려면 다음과 같이 [delete-resource-share](https://docs.aws.amazon.com/cli/latest/reference/ram/delete-resource-share.html) 명령을 사용합니다.
```
aws ram delete-resource-share --resource-share-arn
```
## AWS RAM 콘솔
```
1. 다음 명령을 사용하여 리소스 공유를 승격합니다.
```
aws ram promote-resource-share-created-from-policy --resource-share-arn
```
이전 단계를 수행하는 동안 `OperationNotPermittedException` 오류가 표시되면 엔터티를 검색할 수는 없지만 액세스할 수는 있습니다. 예를 들어 리소스 소유자가 `“Principal”: {“AWS”: “arn:aws:iam::3333333333:role/Role-1”}`과 같은 수임 역할 위탁자와 함께 리소스 정책을 연결하거나 리소스 정책이 `“Action”: “*”`을 허용하는 경우 연결된 모델 패키지 그룹은 승격하거나 검색할 수 없습니다.
# 모델 배포 기록 보기
```
그런 다음 AWS 콘솔, Python 또는 [CreateProject](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateProject.html) 및 [UpdateProject](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateProject.html) API 작업을 사용하여 S3 버킷 내의 템플릿에서 SageMaker 프로젝트를 생성하거나 업데이트합니다. S3
------
#### [ Studio ]
**프로젝트 만들기**
1. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)에서 Amazon SageMaker AI 콘솔을 엽니다.
1. [Launch Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-launch.html)의 지침에 따라 SageMaker Studio 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **배포**, **프로젝트**, **프로젝트 생성을** 선택합니다.
1. **조직 템플릿을** 선택한 다음 **S3 템플릿을** 선택하여 사용 가능한 템플릿을 확인합니다. 예상한 템플릿이 보이지 않으면 관리자에게 알립니다.
1. 사용할 템플릿을 선택한 **후 다음을** 선택합니다.
1. 프로젝트 이름, 선택적 설명 및 기타 필수 필드를 입력합니다. 완료했으면 **Create**(생성)를 선택합니다.
**프로젝트 업데이트**
1. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)에서 Amazon SageMaker AI 콘솔을 엽니다.
1. [Launch Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-launch.html)의 지침에 따라 SageMaker Studio 콘솔을 엽니다.
1. 업데이트할 프로젝트를 선택합니다. **작업을** 선택한 다음 **프로젝트 업데이트를** 선택합니다.
1. 프로젝트를 업데이트할 때 템플릿 파라미터 또는 템플릿 URL을 업데이트할 수 있습니다. 완료했으면 **다음**을 선택합니다.
1. 요약 테이블에서 프로젝트 업데이트를 검토하고 **업데이트**를 선택합니다.
------
#### [ Python Boto3 ]
S3 버킷을 생성하고 템플릿을 업로드한 후 다음 예제를 사용하여 SageMaker 프로젝트를 생성할 수 있습니다.
```
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
response = sagemaker_client.create_project(
ProjectName='my-custom-project',
ProjectDescription='SageMaker project with custom CFN template stored in S3',
TemplateProviders=[{
'CfnTemplateProvider': {
'TemplateName': 'CustomProjectTemplate',
'TemplateURL': f'https://.s3.us-west-2.amazonaws.com/custom-project-template.yml',
'Parameters': [
{'Key': 'ParameterKey', 'Value': 'ParameterValue'}
]
}
}]
)
print(f"Project ARN: {response['ProjectArn']}")
```
SageMaker 프로젝트를 업데이트하려면 다음 예제를 참조하세요.
```
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
response = sagemaker_client.update_project(
ProjectName='my-custom-project',
ProjectDescription='SageMaker project with custom CFN template stored in S3',
TemplateProvidersToUpdate=[{
'CfnTemplateProvider': {
'TemplateName': 'CustomProjectTemplate',
'TemplateURL': f'https://.s3.us-west-2.amazonaws.com/custom-project-template.yml',
'Parameters': [
{'Key': 'ParameterKey', 'Value': 'ParameterValue'}
]
}
}]
)
print(f"Project ARN: {response['ProjectArn']}")
```
------
# 프로젝트 리소스 보기