제한된 모델 패키지

제한된 모델 패키지란 무엇입니까?

제한된 모델 패키지(RMP)는 고객이 직접 액세스할 수 없는 안전한 서비스 관리형 스토리지에 독점 모델 아티팩트를 보관하는 SageMaker AI 모델 패키지입니다. RMP 사용하면 기본 아티팩트에 대한 직접 액세스 권한을 부여하지 않고도 IAM 정책을 통해 이러한 모델의 사용을 승인하고 제어할 수 있습니다. 모델 데이터는 직접 다운로드, 내보내거나 볼 수 없습니다. 승인된 AWS 서비스 내에서만 사용할 수 있습니다. RMP는 신뢰할 수 있는 SageMaker AI 플랫폼 보안 주체만 생성할 수 있으며, StorageType: "Restricted"으로 표시된 모델 패키지 그룹 내에 존재합니다.

현재 RMP는 SageMaker Training Jobs Serverless에서 멀티턴 강화 학습(MTRL) 훈련을 수행할 때 생성됩니다. RMP가 생성되면 해당 ARN을 사용하여 기반 모델을 평가할 수 있습니다. 예를 들어 MTRL 실행을 반복 훈련 워크플로로 연결하기 위해 RMP를 후속 훈련 작업의 입력으로 사용하는 기능은 2026년 3분기에 제공될 예정입니다.

RMP는 기반 모델 아티팩트가 항상 안전한 서비스 관리형 스토리지에 유지된다는 점에서 표준 SageMaker AI 모델 패키지와 다릅니다. 고객은 Amazon S3의 체크포인트 파일에 직접 액세스하는 대신 ARN을 통해 모델과 상호 작용합니다.

지원되는 사용 사례

다음 표에는 현재 사용할 수 있는 RMP 사용 사례와 향후 릴리스에서 제공될 예정인 사용 사례가 요약되어 있습니다.

MTRL 훈련 출력

SageMaker Training Jobs Serverless에서 멀티턴 강화 학습(MTRL)을 사용하여 모델을 훈련하면 훈련 출력이 Amazon S3 체크포인트 경로가 아닌 RMP로 제공됩니다. 출력 RMP는 런타임 관리자를 구성할 때 지정한 모델 패키지 그룹에 자동으로 생성되고 등록됩니다. RMP는 사용자가 직접 생성하지 않습니다. 플랫폼에서 훈련 작업의 출력으로 생성합니다.

SageMaker Training Jobs Serverless에서 MTRL을 실행하려면 model_package_group_name 파라미터가 필요합니다. StorageType: "Restricted"을 사용하여 출력 RMP가 등록될 기존 모델 패키지 그룹을 지정해야 합니다. 이 파라미터가 없으면 훈련 작업이 실패합니다. 훈련 출력을 수신하도록 model_package_group_name을 사용하여 런타임을 구성합니다.

from amzn_nova_forge.manager.runtime_manager import SMTJServerlessRuntimeManager
from amzn_nova_forge.trainer.forge_trainer import ForgeTrainer
from amzn_nova_forge.model.model_enums import Model, TrainingMethod
from amzn_nova_forge.core import ForgeConfig

# Configure runtime with the output Model Package Group
runtime = SMTJServerlessRuntimeManager(
    model_package_group_name="my-rmp-model-package-group",  # Required for MTRL
    execution_role="arn:aws:iam::123456789012:role/my-role",
    agent_core_arn="arn:aws:bedrock-agentcore:us-east-1:123456789012:runtime/my-agent",  # AgentCore runtime for MTRL execution
)

# Train with MTRL
trainer = ForgeTrainer(
    model=Model.NOVA_LITE_2,
    method=TrainingMethod.RFT_MULTITURN_LORA,
    infra=runtime,
    training_data_s3_path="s3://your-bucket/prompts/train.parquet",
    config=ForgeConfig(output_s3_path="s3://your-bucket/output/"),
)

result = trainer.train(job_name="my-mtrl-job")

# Wait for completion and retrieve the output RMP ARN
result.wait()
print(result.model_artifacts.output_model_arn)

훈련이 완료되면 결과 모델이 지정된 모델 패키지 그룹에 새 버전으로 등록됩니다.

평가에 RMP 사용

RMP로 저장된 모델의 ARN을 참조하여 해당 모델을 평가할 수 있습니다. SageMaker AI 플랫폼은 내부적으로 RMP를 기반 모델 아티팩트로 해석하므로 평가 워크플로에서 모델 체크포인트를 직접 처리할 필요가 없습니다.

Amazon Nova 모델을 평가하는 방법에 대한 자세한 내용은 SageMaker AI로 훈련된 모델 평가을 참조하세요.

RMP를 훈련 입력으로 사용(2026년 3분기)

RMP를 훈련 작업의 소스 모델로 사용하는 기능은 2026년 3분기에 제공될 예정이며 현재는 사용할 수 없습니다. 이 기능이 지원되면 ModelPackageConfig.SourceModelPackageArn를 사용하여 RMP ARN을 소스 모델로 지정할 수 있습니다. SageMaker AI 플랫폼은 내부적으로 ARN을 실제 모델 체크포인트로 해석하므로 훈련 코드는 Amazon S3에서 로드한 것처럼 모델 아티팩트를 수신합니다.

이를 통해 한 훈련 작업의 출력 RMP를 후속 MTRL 작업의 소스 모델로 전달하는 반복 MTRL 훈련 워크플로를 구현할 수 있습니다. 따라서 기반 모델 체크포인트를 노출하지 않고도 각 실행에서 이전 실행의 출력을 바탕으로 훈련을 계속할 수 있습니다.