기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 엔드포인트
<a name="realtime-endpoints-manage"></a>

모델을 엔드포인트에 배포한 후 엔드포인트를 보고 관리할 수 있습니다. SageMaker AI를 사용하면 엔드포인트의 상태 및 세부 정보를 보고, 지표 및 로그를 확인하여 엔드포인트의 성능을 모니터링하고, 엔드포인트에 배포된 모델을 업데이트하는 등의 작업을 수행할 수 있습니다.

다음 섹션에서는 Amazon SageMaker Studio 또는 AWS Management Console 내에서 엔드포인트를 관리하는 방법을 보여줍니다.

다음 페이지에서는 Amazon SageMaker AI 콘솔 또는 SageMaker Studio를 사용하여 엔드포인트를 대화형으로 보고 변경하는 방법을 설명합니다.

**Topics**
+ [SageMaker Studio에서 엔드포인트 세부 정보 보기](manage-endpoints-studio.md)
+ [SageMaker AI 콘솔에서 엔드포인트 세부 정보를 확인합니다.](manage-endpoints-console.md)

# SageMaker Studio에서 엔드포인트 세부 정보 보기
<a name="manage-endpoints-studio"></a>

Amazon SageMaker Studio에서 SageMaker AI 호스팅 엔드포인트를 보고 관리할 수 있습니다. Studio에 대한 자세한 내용은 [Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html)를 참조하세요.

SageMaker Studio에서 엔드포인트 목록을 찾으려면 다음을 수행합니다.

1. Studio 애플리케이션을 엽니다.

1. 왼쪽 탐색 창에서 **배포**를 선택합니다.

1. 드롭다운 메뉴에서 **엔드포인트**를 선택합니다.

모든 SageMaker AI 호스팅 엔드포인트가 나열된 **엔드포인트** 페이지가 열립니다. 이 페이지에서 엔드포인트와 해당 **상태**를 볼 수 있습니다. 새 엔드포인트를 생성하거나, 기존 엔드포인트를 편집하거나, 엔드포인트를 삭제할 수도 있습니다.

특정 엔드포인트의 세부 정보를 보려면 목록에서 엔드포인트를 선택합니다. 엔드포인트의 세부 정보 페이지에는 다음 스크린샷과 같은 개요가 표시됩니다.

![\[Studio의 엔드포인트 세부 정보 요약을 보여주는 엔드포인트의 기본 페이지 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/inference/studio-endpoint-details-page.png)


각 엔드포인트 세부 정보 페이지에는 다음과 같은 정보 탭이 포함되어 있습니다.

# 변형 보기(또는 모델)
<a name="manage-endpoints-studio-variants"></a>

**변형** 탭(엔드포인트에 여러 **모델**이 배포된 경우 모델 탭이라고도 함)에는 현재 엔드포인트에 배포된 [모델 변형](https://docs.aws.amazon.com/sagemaker/latest/dg/model-ab-testing.html) 또는 모델 목록이 표시됩니다. 다음 스크린샷은 여러 **모델**이 배포된 엔드포인트에 대한 개요 및 모델 섹션을 보여줍니다.

![\[배포된 여러 모델을 보여주는 엔드포인트의 메인 페이지의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/inference/studio-goldfinch-multi-model-endpoint.png)


각 변형 또는 모델의 설정을 추가하거나 편집할 수 있습니다. 변형을 선택하고 기본 Auto-scaling 정책을 활성화할 수도 있습니다. 이 정책은 나중에 **Auto-scaling** 탭에서 편집할 수 있습니다.

# 설정 보기
<a name="manage-endpoints-studio-settings"></a>

**설정** 탭에서 엔드포인트의 관련 AWS IAM 역할, 암호화에 사용되는 AWS KMS 키(해당하는 경우), VPC 이름 및 네트워크 격리 설정을 볼 수 있습니다.

# 추론 테스트
<a name="manage-endpoints-studio-test"></a>

**추론 테스트** 탭에서 배포된 모델에 테스트 추론 요청을 보낼 수 있습니다. 이는 엔드포인트가 예상대로 요청에 응답하는지 확인하고 싶을 때 유용합니다.

추론을 테스트하려면 다음을 수행합니다.

1. 모델의 **추론 테스트** 탭에서 다음 옵션 중 하나를 선택합니다.

   1. 엔드포인트를 테스트하고 Studio 인터페이스를 통해 응답을 받으려면 **요청 본문 입력**을 선택합니다.

   1. 로컬 환경에서 엔드포인트를 호출하고 프로그래밍 방식으로 응답을 수신하는 데 사용할 수 있는 AWS SDK for Python (Boto3) 예제를 복사하려면 **예제 코드 복사(Python)**를 선택합니다.

1. **모델**에서 엔드포인트에서 테스트할 모델을 선택합니다.

1. Studio 인터페이스 테스트 방법을 선택한 경우 드롭다운에서 원하는 응답 **콘텐츠 유형**을 선택할 수도 있습니다.

요청을 구성한 후 **요청 전송**(Studio 인터페이스를 통해 응답 수신) 또는 **복사**를 선택하여 Python 예제를 복사할 수 있습니다.

Studio 인터페이스를 통해 응답을 받으면 다음 스크린샷과 같습니다.

![\[Studio의 엔드포인트에서 성공적인 추론 테스트 요청의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/inference/endpoint-test-inference.png)


# Auto Scaling
<a name="manage-endpoints-studio-autoscaling"></a>

**Auto-scaling** 탭에서 엔드포인트에 호스팅된 모델에 대해 구성된 모든 Auto-scaling 정책을 볼 수 있습니다. 다음 스크린샷은 **Auto-scaling** 탭을 보여줍니다.

![\[활성 정책 하나를 보여주는 Auto-scaling 탭의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/inference/studio-endpoint-autoscaling.png)


**자동 크기 조정 편집**을 선택하여 정책을 변경하고 기본 자동 크기 조정 정책을 켜거나 끌 수 있습니다.

실시간 엔드포인트의 오토 스케일링에 대한 자세한 내용은 [Automatically Scale Amazon SageMaker AI Models](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html)을 참조하세요. 엔드포인트에 대한 Auto-scaling 정책을 구성하는 방법을 잘 모르는 경우 [Inference Recommender Autoscaling 권장 사항 작업](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-autoscaling.html)을 사용하여 Auto-scaling 정책에 대한 권장 사항을 얻을 수 있습니다.

# SageMaker AI 콘솔에서 엔드포인트 세부 정보를 확인합니다.
<a name="manage-endpoints-console"></a>

SageMaker AI 콘솔에서 엔드포인트를 보려면 다음을 수행합니다.

1. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)에서 SageMaker AI 콘솔로 이동합니다.

1. 왼쪽 탐색 창에서 **추론**를 선택하세요.

1. 드롭다운 목록에서 **엔드포인트**를 선택하세요.

1. **엔드포인트** 페이지에서 원하는 엔드포인트를 선택하세요.

엔드포인트 세부 정보 페이지가 열리면서 해당 엔드포인트에 대한 요약 및 엔드포인트에 대해 수집된 지표가 표시됩니다.

다음 섹션에서는 엔드포인트 세부 정보 페이지의 탭을 설명합니다.

# 엔드포인트 모니터링
<a name="manage-endpoints-console-monitoring"></a>

SageMaker AI 호스팅 엔드포인트를 생성한 후에 Amazon CloudWatch를 이용해 엔드포인트를 모니터링 할 수 있습니다. Amazon CloudWatch는 원시 데이터를 수집하여 읽기 가능하고 실시간에 가까운 지표로 처리합니다. 이들 지표를 사용하여 기록 정보에 액세스하고 엔드포인트가 어떻게 실행되고 있는지를 더 잘 파악할 수 있습니다. 자세한 내용은 *[Amazon CloudWatch 사용 설명서](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/)*를 참조하세요.

엔드포인트 세부 정보 페이지의 **모니터링** 탭에서는 엔드포인트에서 수집된 CloudWatch 지표 데이터를 볼 수 있습니다.

**모니터링** 탭에 있는 섹션은 다음과 같습니다.
+ **운영 지표**: 엔드포인트 리소스의 사용률(예: CPU 사용률, 메모리 사용률)을 추적하는 보기 지표입니다.
+ **호출 지표**: 엔드포인트로 들어오는 `InvokeEndpoint` 요청의 수와 상태(예: 호출 모델 오류, 모델 지연 시간)를 추적하는 보기 지표입니다.
+ **상태 지표**: 엔드포인트의 전반적인 상태(예: 호출 실패, 알림 실패)를 추적하는 보기 지표입니다.

각 지표에 대한 자세한 설명은 [CloudWatch를 이용한 SageMaker AI 모니터링](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html)을 참조하세요.

다음 스크린샷은 서버리스 엔드포인트의 **운영 지표** 섹션을 보여줍니다.

![\[엔드포인트 세부 정보 페이지의 운영 지표 섹션에 있는 지표 그래프의 스크린샷\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/hosting-operational-metrics.png)




특정 섹션의 지표에 대해 추적할 **기간** 및 **통계**는 물론, 지표 데이터를 볼 기간의 길이도 조정할 수 있습니다. **위젯 추가**를 선택하여 각 섹션의 뷰에서 지표 위젯을 추가하거나 삭제할 수도 있습니다. **위젯 추가 **대화 상자에서 보고자 하는 지표를 선택하거나, 지표에 대한 선택을 취소할 수 있습니다.

사용 가능한 지표는 엔드포인트 유형에 따라 달라질 수 있습니다. 그 예로 서버리스 엔드포인트의 일부 지표는 실시간 엔드포인트에 사용할 수 없습니다. 구체적인 엔드포인트 유형별 지표 정보는 다음 페이지를 참조하세요.
+ [서버리스 엔드포인트 모니터링](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints-monitoring.html)
+ [비동기 엔드포인트 모니터링](https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-monitor.html)
+ [CW다중 모델 엔드포인트 배포 관련 CW 지표](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoint-cloudwatch-metrics.html)
+ [추론 파이프라인 로그 및 지표](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipeline-logs-metrics.html)

# 설정
<a name="manage-endpoints-console-settings"></a>

**설정** 탭을 선택하여 엔드포인트에 대한 추가 정보(예: 데이터 캡처 설정, 엔드포인트 구성, 태그)를 볼 수 있습니다.

# 경보 생성 및 보기
<a name="manage-endpoints-console-alarms"></a>

엔드포인트 세부 정보 페이지의 **경보**에서는 지표의 임계값을 지정하는 간단한 정적 임계값 지표 경보를 확인하고 생성할 수 있습니다. 지표가 임계값을 위반할 경우 경보가 `ALARM` 상태로 전환됩니다. CloudWatch 경보에 대한 자세한 내용은 [Amazon CloudWatch 경보 사용](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html)을 참조하세요.

**엔드포인트 요약** 섹션에서는 **경보** 필드를 볼 수 있습니다. 이 필드에는 엔드포인트에서 현재 활성 상태인 경보의 수가 표시됩니다.

어떤 경보가 현재 `ALARM` 상태인지를 보려면 **경보** 탭을 선택하세요. **경보** 탭에는 엔드포인트 경보의 전체 목록과 함께 해당 경보의 상태 및 조건에 대한 세부 정보가 표시됩니다. 다음 스크린샷은 이 섹션에서 엔드포인트에 대해 구성된 경보의 목록을 보여줍니다.

![\[CloudWatch 경보 목록을 보여주는 엔드포인트 세부 정보 페이지의 경보 탭이 담긴 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/hosting-alarms-tab.png)


수집 중인 지표 데이터가 부족하면 경보의 상태가 `In alarm`, `OK` 또는 `Insufficient data`일 수 있습니다.

엔드포인트에 대해 새 경보를 생성하려면 다음 방법대로 하세요.

1. **경보** 탭에서 **경보 생성**을 선택하세요.

1. **경보 생성** 페이지가 열립니다. **경보 이름**에 경보 이름을 입력합니다.

1. (선택 사항) 경보에 대한 설명을 입력합니다.

1. **지표**에서 해당 경보를 통해 추적할 CloudWatch 지표를 선택하세요.

1. **변형 이름**에서 모니터링할 엔드포인트 모델 변형을 선택하세요.

1. **통계**에서 선택한 지표에 대해 사용 가능한 통계 중 하나를 선택하세요.

1. **기간**에서 각 통계 값을 계산하는 데 사용할 기간을 선택하세요. 예를 들어 평균 통계 및 5분 기간을 선택하면, 경보로 모니터링할 각각의 데이터 포인트는 5분 간격으로 측정되는 해당 지표의 데이터 포인트의 평균에 해당합니다.

1. **평가 기간**에서 경보 상태로 전환할지 여부를 평가할 때 경보가 고려해야 하는 데이터 포인트의 수를 입력하세요.

1. **조건**에서 경보 임계값에 사용할 조건을 선택하세요.

1. **임계값**에서 임계값으로 원하는 값을 입력하세요.

1. (선택 사항) **알림**에서 **알림 추가**를 선택하여, 경보 상태가 변경될 때 알림을 수신할 Amazon SNS 주제를 생성하거나 지정할 수 있습니다.

1. **경보 생성(Create alarm)**을 선택하세요.

경보를 생성한 후에는 언제든지 **경보** 탭으로 돌아가서 해당 경보의 상태를 볼 수 있습니다. 이 섹션에서는 경보를 선택하고 **편집** 또는 **삭제**할 수도 있습니다.