View a markdown version of this page

Amazon Bedrock 모델에 대한 프로비저닝된 처리량 구매 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock 모델에 대한 프로비저닝된 처리량 구매

Amazon Bedrock은 토큰별 및 모델 단위별 두 가지 유형의 프로비저닝된 처리량을 제공합니다. 구매하려는 프로비저닝된 처리량의 유형은 다음 지침을 참조하세요.

두 유형의 프로비저닝된 처리량 간의 차이점에 대해 자세히 알아보려면 섹션을 참조하세요Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대.

모델에 대해 모델 단위별로 프로비저닝된 처리량을 구매할 때 모델에 대한 커밋 수준과 할당할 모델 단위(MUs) 수를 지정합니다. MU 할당량은 AWS 일반 참조의 Amazon Bedrock Viewing service quotas를 참조하세요. 프로비저닝된 처리량(약정 포함 또는 미포함)을 구매하려면 먼저 AWS지원 센터를 방문하여 계정이 프로비저닝된 처리량 간에 분산되도록 MUs를 요청해야 합니다. 요청이 부여되면 프로비저닝된 처리량을 구매할 수 있습니다.

참고

프로비저닝된 처리량을 구매한 후 사용자 지정 모델과 연결된 경우 다음 옵션 중 하나를 지정하여 모델을 변경할 수 있습니다.

  • 사용자 지정 모델을 사용자 지정한 기본 모델

  • 사용자 지정 모델과 동일한 기본 모델에서 사용자 지정된 다른 사용자 지정 모델

사용자 지정 모델과 연결된 프로비저닝된 처리량에 대해서만 연결된 모델을 변경할 수 있습니다.

모델에 대해 프로비저닝된 처리량을 구매하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.

Console

  1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명AWS Management Console으로에 로그인합니다. 그 다음 https://console.aws.amazon.com/bedrock에서 Amazon Bedrock 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 프로비저닝된 처리량을 선택합니다.

  3. 프로비저닝된 처리량 섹션에서 프로비저닝된 처리량 구매를 선택합니다.

  4. 프로비저닝된 처리량 세부 정보 섹션에서 다음을 수행합니다.

    1. 프로비저닝된 처리량 이름 필드에 프로비저닝된 처리량의 이름을 입력합니다.

    2. 모델 선택에서 기본 모델 제공업체 또는 사용자 지정 모델 카테고리를 선택합니다. 그런 다음 처리량을 프로비저닝할 모델을 선택합니다.

      참고

      약정 없이 프로비저닝된 처리량을 구매할 수 있는 기본 모델을 보려면 지원되는 모델 설명서를 참조하세요.

      AWS GovCloud (US)리전에서는 커밋 없이 사용자 지정 모델의 프로비저닝된 처리량만 구매할 수 있습니다.

    3. (선택 사항) 프로비저닝된 처리량에 태그를 연결하려면 태그 섹션을 확장하고 새 태그 추가를 선택합니다. 자세한 내용은 Amazon Bedrock 리소스 태그 지정 단원을 참조하십시오.

  5. 프로비저닝 모드에서 모델 단위별을 선택합니다.

  6. 약정 기간 및 모델 단위 섹션에서 다음을 수행합니다.

    1. 약정 기간 선택 섹션에서 프로비저닝된 처리량을 사용하기로 약정할 기간을 선택합니다.

    2. 모델 단위 필드에 원하는 모델 단위 수(MU)를 입력합니다. 약정 포함으로 모델을 프로비저닝하는 경우 먼저 AWS 지원 센터를 방문하여 구매할 수 있는 MU 수를 늘려 달라고 요청해야 합니다.

  7. 프로비저닝된 처리량 구매를 선택합니다.

  8. 표시되는 메모를 검토하고 확인란을 선택하여 약정 기간과 요금을 확인합니다. 그런 다음, 구매 확인을 선택합니다.

  9. 콘솔에 프로비저닝된 처리량 개요 페이지가 표시됩니다. 프로비저닝된 처리량 테이블의 프로비저닝된 처리량 상태가 생성 중으로 바뀝니다. 프로비저닝된 처리량 생성이 완료되면 상태가 서비스 중으로 바뀝니다. 업데이트가 실패하면 상태가 실패로 바뀝니다.

API

프로비저닝된 처리량을 구매하려면 Amazon Bedrock 컨트롤 플레인 엔드포인트를 사용하여 CreateProvisionedModelThroughput 요청을 전송합니다.

요청 본문의 내용과 모델 단위별로 프로비저닝된 처리량을 생성하기 위해 제공해야 하는 파라미터에 대한 자세한 내용은 Amazon Bedrock API 참조의 CreateProvisionedModelThroughput을 참조하세요.

참고

약정 없이 프로비저닝된 처리량을 구매할 수 있는 기본 모델을 보려면 지원되는 모델 설명서를 참조하세요.

AWS GovCloud (US)리전에서는 커밋 없이 사용자 지정 모델의 프로비저닝된 처리량만 구매할 수 있습니다.

응답은 모델 추론에서 modelId로 사용할 수 있는 provisionedModelArn을 반환합니다. 프로비저닝된 처리량을 사용할 준비가 되었는지 확인하려면 GetProvisionedModelThroughput 요청을 전송하고 상태가 InService인지 확인합니다. 업데이트가 실패하면 상태가 Failed가 되고 GetProvisionedModelThroughput 응답에 failureMessage가 포함됩니다.

코드 예시 보기