View a markdown version of this page

Amazon Bedrock의 사용량 및 비용 추적 - Amazon Bedrock
접근 방식 선택LLM 게이트웨이 뒤의 속성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock의 사용량 및 비용 추적

Amazon Bedrock은 모델 추론 사용량 및 비용을 특정 사용자, 팀, 애플리케이션, 환경 또는 실험에 귀속하는 다양한 방법을 제공합니다. 단일 메커니즘을 사용하거나 여러 메커니즘을 결합할 수 있습니다. 예를 들어 애플리케이션별 태그 지정을 위한 프로젝트와 함께 사용자별 가시성에 IAM 보안 주체 속성을 사용하고 통화별 실험 추적을 위한 메타데이터를 요청합니다.

작은 정보

사용 사례에 맞는 메커니즘이 확실하지 않은 경우이 장의 끝에 자주 묻는 질문(FAQ) 있는 로 시작합니다. "사용자별, 프롬프트별 어트리뷰션을 원합니다. 내 선택은 무엇입니까?"와 같은 일반적인 결정 질문에 답합니다. 및 "클래식 CUR과 CUR 2.0의 차이점은 무엇입니까?".

접근 방식 선택

선택하는 비용 어트리뷰션 방법은 추적하려는 차원, 사용하는 Amazon Bedrock APIs, 필요한 세분화 수준에 따라 달라집니다. 다음 두 표에는 보완적인 보기가 나와 있습니다. 첫 번째를 사용하여 목표별로 메커니즘을 조회하고 두 번째를 사용하여 메커니즘을 나란히 비교합니다.

목표별 선택

비용 추적에서 무엇을 원하는지 알고 있다면 여기에서 시작하세요.

목표가 다음과 같은 경우... 사용
청구서의 사용자당 또는 팀당 달러 IAM 보안 주체 속성
애플리케이션당 또는 워크로드당 달러 애플리케이션 추론 프로파일 (bedrock-runtime) 또는 Projects 및 워크스페이스 (bedrock-mantle)
모든 차원으로 분할된 프롬프트당 토큰 사용량 및 비용 요청별 메타데이터 태그 지정, 모델 호출 로그 포함
사용자별 및 프롬프트별 세부 정보 identity ARN 또는 요청 메타데이터 태그에서 가져온 사용자가 포함된 모델 호출 로그
인보이스-정확한 달러 및 프롬프트별 세부 정보 모두 기본 메서드(예: IAM 보안 주체 속성)를와 결합 요청별 메타데이터 태그 지정
비교 메커니즘

다음 표에서는 속성 지정 기준, 출력 대상, 해당 출력의 세부 수준, 데이터가 전달되는 위치 및 지원하는 엔드포인트를 기준으로 사용 가능한 메커니즘을 비교합니다.

메커니즘 의 속성 출력 세부 수준 데이터 대상 지원되는 API bedrock-runtime bedrock-mantle
IAM 보안 주체 속성 IAM 자격 증명 청구된 달러 집계, 일일 사용 유형별 AWS Cost Explorer/CUR 2.0 InvokeModel, Converse, Chat Completions Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
애플리케이션 추론 프로파일 프로필 리소스 태그 청구된 달러 집계, 일일 사용 유형별 AWS Cost Explorer/CUR 2.0 InvokeModel, Converse, Chat Completions Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
Projects 프로젝트 리소스 태그 청구된 달러 집계, 일일 사용 유형별 AWS Cost Explorer/CUR 2.0 응답, 채팅 완료 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
워크스페이스 워크스페이스 헤더를 통한 프로젝트 리소스 태그 청구된 달러 집계, 일일 사용 유형별 AWS Cost Explorer/CUR 2.0 Anthropic 메시지 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
요청별 메타데이터 태그 지정 요청당 키-값 태그 토큰 수(비용으로 변환) 요청당 호출 로그만 InvokeModel, InvokeModelWithResponseStream, Converse, ConverseStream Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
참고

기본 메서드(IAM 보안 주체 속성, 애플리케이션 추론 프로파일Projects, 및 워크스페이스)는 청구된 집계 금액을 AWS Cost Explorer 및 CUR 2.0에 전달합니다. 가장 미세한 입자는 자격 증명 또는 태그로 인한 일일 사용 유형당이며 요청당 행을 생성하지 않습니다. 프롬프트별 세부 정보의 경우 모델 호출 로그를 사용합니다. 여기서 각 호출은 자체 토큰 수를 전달하는 별도의 레코드입니다.

LLM 게이트웨이 뒤의 속성

게이트웨이 또는 프록시가 많은 사용자를 대신하여 Amazon Bedrock을 호출하면 Amazon Bedrock은 게이트웨이의 IAM 역할을 호출자의 자격 증명으로 기록합니다. 사용자 수준 어트리뷰션을 보존하려면 필요한 출력에 따라를 선택합니다.

  • 결제 도구의 사용자당 달러의 경우 게이트웨이가 사용자당 또는 세션 태그를 사용하여 사용자 RoleSessionName 또는 테넌트당 Amazon Bedrock 역할을 수임하도록 합니다. 세션 수명 동안 결과 자격 증명을 캐시하여 모든 요청에 대한 AWS STS 호출을 방지합니다. 자세한 내용은 IAM 보안 주체 속성 단원을 참조하십시오.

  • 프롬프트별 세부 정보의 경우 각 호출에 대한 요청 메타데이터에서 사용자를 설정합니다. 요청 메타데이터는 추가 AWS STS 호출 없이 요청에 따라 다르며, 공유 세션에서는 세션 태그가 수행할 수 없습니다.