View a markdown version of this page

자주 묻는 질문(FAQ) - Amazon Bedrock
메서드 선택비용 및 사용 보고서 질문메커니즘의 차이점구현

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자주 묻는 질문(FAQ)

이 섹션에서는 Amazon Bedrock 비용 속성 메커니즘 선택 및 결합에 대한 일반적인 질문에 답변합니다.

메서드 선택

Q: 사용자별, 프롬프트별 어트리뷰션을 원합니다. 어떤 옵션을 선택할 수 있나요?

A: 결제 기반 메서드가 아닌 모델 호출 로그를 사용합니다. 기본 메서드(IAM 보안 주체 속성, Projects애플리케이션 추론 프로파일, 및 워크스페이스)는 AWSCost Explorer 및 CUR에서 집계된 달러만 생성하며 요청당 행은 생성하지 않습니다. 프롬프트별 보기는 사용자가 두 위치 중 하나에서 올 수 있는 로그에만 존재합니다.

첫 번째 옵션은 각 호출에서 요청 메타데이터 태그를 설정하는 것입니다.

client.converse(
    modelId=...,
    messages=[...],
    requestMetadata={"user": "alice@example.com"},
)

두 번째는 자동 캡처된에 의존하는 것입니다. identity.arn이는 호출자가 사용자당 로 IAM 역할을 수임하는 경우 작동합니다RoleSessionName. 로깅된 토큰 수에서 비용을 계산합니다. 사용자당 인보이스-정확한 달러도 원하는 경우를 IAM 보안 주체 속성 함께 실행합니다.

Q: 특정 시나리오가 있습니다. 어떤 방법을 사용해야 하나요?

A: 다음 표를 사용하여 시나리오를 메서드와 일치시킵니다.

시나리오 사용
월별 청구서에 각 팀의 지출이 필요합니다. IAM 보안 주체 속성 (팀별 태그) 또는 태그가 지정된 Projects 또는 애플리케이션 추론 프로파일
기능별 개별 프롬프트당 비용이 필요합니다. 요청별 메타데이터 태그 지정 모델 호출 로그 사용
많은 모델을 실행하고 애플리케이션당 하나의 비용 버킷을 원합니다. Projects on bedrock-mantle - 단일 프로젝트가 여러 모델에 걸쳐 있을 수 있음
InvokeModel 또는 Converse를 사용 중이며 애플리케이션당 달러를 원합니다. 애플리케이션 추론 프로파일
Amazon Bedrock 앞에 많은 사용자에게 서비스를 제공하는 게이트웨이가 있습니다. 결제 금액sts:AssumeRole에 대한 사용자당 및 프롬프트요청별 메타데이터 태그 지정별 세부 정보

Q: 프로젝트 또는 애플리케이션 추론 프로파일을 사용해야 합니까?

A: 둘 다 AWSCost Explorer 및 CUR에서 집계된 달러를 전송합니다. 엔드포인트 및 규모별로 선택합니다.

  • 애플리케이션 추론 프로파일는 bedrock-runtime 엔드포인트(InvokeModel 및 Converse)에서 작동하지만 모델별로 다릅니다. 모델당 하나의 프로필을 생성하므로 모델 또는 팀을 추가할 때 리소스 수가 증가합니다.

  • Projects는 bedrock-mantle 엔드포인트(응답 및 채팅 완료)에서 작동하며 단일 프로젝트는 여러 모델에 걸쳐 있을 수 있습니다. 워크로드당 모델이 많을 때 더 잘 확장되지만, 맨틀 전용입니다.

사용자별 세부 정보는 둘 중 하나IAM 보안 주체 속성와 함께 사용합니다.

비용 및 사용 보고서 질문

Q: 비용 속성에 대한 클래식 CUR과 CUR 2.0의 차이점은 무엇인가요?

A: Projects, 애플리케이션 추론 프로파일, 워크스페이스및 IAM 보안 주체 태그에서 활성화된 비용 할당 태그는 클래식 CUR 및 CUR 2.0 모두에 표시됩니다. 차이점은 태그 지정 없이 IAM 보안 주체 속성 작동하는 자동 호출자 자격 증명 열입니다. “호출한 사람” 데이터인이 열은 호출자 자격 증명 옵션이 선택된 상태에서 CUR 2.0(AWS데이터 내보내기) 내보내기에만 존재합니다. 라인 항목 데이터에 기본 사용자별 어트리뷰션을 사용하려면 CUR 2.0이 필요합니다.

Q: AWSCost Explorer 또는 CUR에서 개별 프롬프트에 대한 비용을 볼 수 있나요?

A: 아니요. 클래식 CUR과 CUR 2.0 모두 1시간 또는 1일 동안의 사용 유형별로 비용을 집계하며, 둘 다 행 항목에 요청당 식별자를 포함하지 않습니다. 프롬프트별 세부 정보는 모델 호출 로그에만 존재합니다. 프롬프트당 비용이 아닌 조정을 위해 모델 및 사용량 유형 단위에서 로그를 CUR에 조인합니다.

Q: 비용은 CUR이지만 태그와 토큰은 로그에 있습니다. 어떻게 결합하나요?

A: 두 가지 패턴이 있습니다. 인보이스 정확도 합계의 경우 model/usage-type/day grain에서 로그를 CUR에 조인합니다. 프롬프트당 비용의 경우 로깅된 토큰 수와 게시된 토큰당 요금에서 계산합니다. 다음 CloudWatch Logs Insights 쿼리는 계산을 제공하는 사용자당, 모델당 토큰 합계를 생성합니다.

fields requestMetadata.user as user, modelId,
       input.inputTokenCount as inTokens,
       output.outputTokenCount as outTokens
| stats sum(inTokens) as totalInput,
        sum(outTokens) as totalOutput,
        count() as calls
        by user, modelId

계산된 그림은 추정치입니다. 모델링하지 않는 한 할인, 약정, 배치 요금, 프리 티어 또는 프로비저닝된 처리량은 반영되지 않습니다. 자세한 내용은 로그에서 비용 가져오기을 참조하세요.

메커니즘의 차이점

Q: IAM 세션 태그와 요청 메타데이터의 차이점은 무엇인가요?

A: 바인딩 및 대상. 세션 태그는에서 한 번 설정sts:AssumeRole되며 해당 세션의 자격 증명으로 이루어진 모든 호출에 대해 일정합니다.이 태그는 AWSCost Explorer 및 CUR(클래식 CUR 및 CUR 2.0 모두)에서 집계된 결제 데이터로만 표시됩니다. 요청 메타데이터는 호출당 설정되고, 요청에 따라 다르며, 호출 로그에 저장됩니다.

사용자별, 프롬프트별 어트리뷰션의 경우 요청 메타데이터를 사용합니다. 청구서의 사용자당 달러의 경우 세션 태그를 사용하거나 호출자 자격 증명 ARN을 사용합니다.

Q: 요청 메타데이터가 청구서에 표시되나요?

A: 아니요. 요청 메타데이터는 비용 할당 태그가 아닙니다. 모델 호출 로그에만 기록되며 AWSCost Explorer 또는 CUR에는 표시되지 않습니다. 운영 및 프롬프트별 분석에 사용하고 청구된 달러에는 네이티브 메서드(예: IAM 보안 주체 속성 또는 Projects)를 사용합니다.

구현

Q: LLM 게이트웨이 뒤에서 어트리뷰션은 어떻게 작동하나요?

A: Amazon Bedrock은 게이트웨이의 역할을 호출자의 자격 증명으로 기록합니다. 사용자 수준 어트리뷰션을 보존하려면 사용자당 역할을 수임하고, 세션 수명 동안 자격 증명을 캐시하고, 사용자를 세션 태그(결제 금액의 경우) 및/또는 RoleSessionName (사용자가 로그identity.arn에 도착하도록)로 전달합니다.

sts.assume_role(
    RoleArn=GATEWAY_ROLE,
    RoleSessionName="alice",
    Tags=[{"Key": "user", "Value": "alice@example.com"}],
)

요청당 AWS STS직접 호출 없이 프롬프트별 세부 정보를 보려면 대신 각 직접 호출의 요청 메타데이터에서 사용자를 설정합니다.

Q: 모든 호출에 태그를 지정하도록 요구할 수 있습니까?

A: Amazon Bedrock 측이 아닙니다. 요청 메타데이터는 호출당 옵트인되며 Amazon Bedrock은 이를 생략하는 호출을 거부하지 않습니다. 리소스만 관리하는 AWS태그 정책은 아닙니다. 모든 요청에 스탬프를 적용하는 공유 클라이언트 또는 LLM 게이트웨이에 태그 지정을 적용합니다. 호출당 코드 없이 항상 존재하는 어트리뷰션의 경우 호출자 자격 증명이 자동으로 캡처IAM 보안 주체 속성되므로를 사용합니다.

Q: 각 호출에서 어떤 필드를 설정하고 어떤 필드가 자동으로 설정되나요?

A: Amazon Bedrock은 accountId, , , region, modelId requestIdidentity.arn, 입력 및 출력 토큰 수, 스키마 메타데이터 등 로그 레코드의 거의 모든 항목을 자동으로 캡처합니다. 호출당 제공하는 유일한 필드는 입니다requestMetadata. 를 태그modelId로 설정하지 않습니다. 태그는 호출한 모델 또는 추론 프로파일입니다.