기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 모델 평가 작업의 서비스 역할 요구 사항
모델 평가 작업을 생성하려면 서비스 역할을 지정해야 합니다. 서비스 역할은 서비스가 사용자를 대신하여 작업을 수행하는 것으로 가정하는 [IAM 역할](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html)입니다. IAM 관리자는 IAM 내에서 서비스 역할을 생성, 수정 및 삭제할 수 있습니다. 자세한 내용은 *IAM 사용 설명서*의 [AWS 서비스 AWS에 권한을 위임할 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html)을 참조하세요.
필요한 IAM 작업 및 리소스는 생성 중인 모델 평가 작업 유형에 따라 다릅니다. 다음 섹션을 사용하여 필수 Amazon Bedrock,Amazon SageMaker AI 및 Amazon S3 IAM 작업, 서비스 위탁자 및 리소스에 대해 자세히 알아봅니다. AWS Key Management Service를 사용하여 데이터를 암호화하도록 선택할 수 있습니다.
**Topics**
+ [자동 모델 평가 작업의 서비스 역할 요구 사항](automatic-service-roles.md)
+ [인적 기반 모델 평가 작업의 서비스 역할 요구 사항](model-eval-service-roles.md)
+ [평가자 모델을 사용하는 모델 평가 작업을 생성하는 데 필요한 서비스 역할 권한](judge-service-roles.md)
+ [지식 기반 평가 작업의 서비스 역할 요구 사항](rag-eval-service-roles.md)
# 자동 모델 평가 작업의 서비스 역할 요구 사항
자동 모델 평가 작업을 생성하려면 서비스 역할을 지정해야 합니다. 연결하는 정책은 Amazon Bedrock에 사용자 계정의 리소스에 대한 액세스 권한을 부여하고 Amazon Bedrock이 사용자를 대신하여 선택한 모델을 간접 호출하도록 허용합니다.
Amazon Bedrock을 `bedrock.amazonaws.com`을 사용하여 서비스 보안 주체로 정의하는 신뢰 정책도 연결해야 합니다. 다음 각 정책 예제는 자동 모델 평가 작업에서 간접 호출된 각 서비스에 따라 필요한 정확한 IAM 작업을 보여 줍니다.
사용자 지정 서비스 역할을 만들려면 **IAM 사용 설명서의 [사용자 지정 신뢰 정책을 사용하는 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-custom.html)을 참조하세요.
**필수 Amazon S3 IAM 작업**
다음 정책 예제는 모델 평가 결과가 저장되는 S3 버킷에 대한 액세스 권한과 필요에 따라 사용자가 지정한 사용자 지정 프롬프트 데이터 세트에 대한 액세스 권한을 부여합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowAccessToCustomDatasets",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::my_customdataset1_bucket",
"arn:aws:s3:::my_customdataset1_bucket/myfolder",
"arn:aws:s3:::my_customdataset2_bucket",
"arn:aws:s3:::my_customdataset2_bucket/myfolder"
]
},
{
"Sid": "AllowAccessToOutputBucket",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket",
"s3:PutObject",
"s3:GetBucketLocation",
"s3:AbortMultipartUpload",
"s3:ListBucketMultipartUploads"
],
"Resource": [
"arn:aws:s3:::my_output_bucket",
"arn:aws:s3:::my_output_bucket/myfolder"
]
}
]
}
```
------
**필수 Amazon Bedrock IAM 작업**
또한 Amazon Bedrock이 자동 모델 평가 작업에서 지정하려는 모델을 간접적으로 호출하도록 허용하는 정책을 생성해야 합니다. Amazon Bedrock에 대한 액세스 관리에 관한 자세한 내용은 [Amazon Bedrock 파운데이션 모델 액세스](model-access.md) 섹션을 참조하세요. 정책의 `"Resource"` 섹션에서 나에게도 액세스 권한이 있는 모델의 ARN을 하나 이상 지정해야 합니다. 고객 관리형 KMS 키로 암호화된 모델을 사용하려면 IAM 서비스 역할 정책에 필요한 IAM 작업 및 리소스를 추가해야 합니다. 또한 AWS KMS키 정책에 서비스 역할을 추가해야 합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowAccessToBedrockResources",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream",
"bedrock:CreateModelInvocationJob",
"bedrock:StopModelInvocationJob",
"bedrock:GetProvisionedModelThroughput",
"bedrock:GetInferenceProfile",
"bedrock:ListInferenceProfiles",
"bedrock:GetImportedModel",
"bedrock:GetPromptRouter",
"sagemaker:InvokeEndpoint"
],
"Resource": [
"arn:aws:bedrock:*::foundation-model/*",
"arn:aws:bedrock:*:111122223333:inference-profile/*",
"arn:aws:bedrock:*:111122223333:provisioned-model/*",
"arn:aws:bedrock:*:111122223333:imported-model/*",
"arn:aws:bedrock:*:111122223333:application-inference-profile/*",
"arn:aws:bedrock:*:111122223333:default-prompt-router/*",
"arn:aws:sagemaker:*:111122223333:endpoint/*",
"arn:aws:bedrock:*:111122223333:marketplace/model-endpoint/all-access"
]
}
]
}
```
------
**서비스 보안 주체 요구 사항**
Amazon Bedrock을 서비스 보안 주체로 정의하는 신뢰 정책도 지정해야 합니다. 이렇게 하면 Amazon Bedrock이 역할을 수임할 수 있습니다. Amazon Bedrock이 AWS계정에서 모델 평가 작업을 생성하려면 와일드카드(`*`) 모델 평가 작업 ARN이 필요합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "AllowBedrockToAssumeRole",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "111122223333"
},
"ArnEquals": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/*"
}
}
}]
}
```
------
# 인적 기반 모델 평가 작업의 서비스 역할 요구 사항
평가를 사용하는 모델 평가 작업을 생성하려면 서비스 역할 2개를 지정해야 합니다.
다음 목록에는 Amazon Bedrock 콘솔에서 지정해야 하는 각 필수 서비스 역할에 대한 IAM 정책 요구 사항이 요약되어 있습니다.
**Amazon Bedrock 서비스 역할에 대한 IAM 정책 요구 사항 요약**
+ Amazon Bedrock을 서비스 위탁자로 정의하는 신뢰 정책을 연결해야 합니다.
+ Amazon Bedrock이 사용자를 대신하여 선택한 모델을 간접적으로 호출하도록 허용해야 합니다.
+ Amazon Bedrock이 프롬프트 데이터세트를 보관하는 S3 버킷과 결과를 저장하려는 S3 버킷에 액세스할 수 있도록 허용해야 합니다.
+ Amazon Bedrock이 계정에 필요한 인적 루프 리소스를 생성하도록 허용해야 합니다.
+ (권장) `Condition` *블록*을 사용하여 액세스할 수 있는 계정을 지정합니다.
+ (선택 사항) 결과를 저장하려는 프롬프트 데이터세트 버킷 또는 Amazon S3 버킷을 암호화한 경우 Amazon Bedrock이 KMS 키를 복호화하도록 허용해야 합니다.
**Amazon SageMaker AI 서비스 역할에 대한 IAM 정책 요구 사항 요약**
+ SageMaker AI를 서비스 위탁자로 정의하는 신뢰 정책을 연결해야 합니다.
+ SageMaker AI가 프롬프트 데이터세트를 보관하는 S3 버킷과 결과를 저장하려는 S3 버킷에 액세스할 수 있도록 허용해야 합니다.
+ (선택 사항) 프롬프트 데이터세트 버킷 또는 결과를 저장하려는 위치를 암호화한 경우 SageMaker AI가 고객 관리형 키를 사용하도록 허용해야 합니다.
사용자 지정 서비스 역할을 만들려면 *IAM 사용 설명서*의 [사용자 지정 신뢰 정책을 사용하는 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-custom.html)을 참조하세요.
**필수 Amazon S3 IAM 작업**
다음 정책 예제는 모델 평가 결과가 저장되는 S3 버킷에 대한 액세스 권한과 사용자가 지정한 사용자 지정 프롬프트 데이터세트에 대한 액세스 권한을 부여합니다. 이 정책을 SageMaker AI 서비스 역할과 Amazon Bedrock 서비스 역할 모두에 연결해야 합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowAccessToCustomDatasets",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::custom-prompt-dataset"
]
},
{
"Sid": "AllowAccessToOutputBucket",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket",
"s3:PutObject",
"s3:GetBucketLocation",
"s3:AbortMultipartUpload",
"s3:ListBucketMultipartUploads"
],
"Resource": [
"arn:aws:s3:::model_evaluation_job_output"
]
}
]
}
```
------
**필수 Amazon Bedrock IAM 작업**
자동 모델 평가 작업에 지정하려는 모델을 Amazon Bedrock이 간접적으로 호출하도록 허용하려면 Amazon Bedrock 서비스 역할에 다음 정책을 연결합니다. 정책의 `"Resource"` 섹션에서 나에게도 액세스 권한이 있는 모델의 ARN을 하나 이상 지정해야 합니다. 고객 관리형 KMS 키로 암호화된 모델을 사용하려면 IAM 서비스 역할에 필요한 IAM 작업 및 리소스를 추가해야 합니다. 필요한 AWS KMS 키 정책 요소도 추가해야 합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowAccessToBedrockResources",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream",
"bedrock:CreateModelInvocationJob",
"bedrock:StopModelInvocationJob",
"bedrock:GetProvisionedModelThroughput",
"bedrock:GetInferenceProfile",
"bedrock:ListInferenceProfiles",
"bedrock:GetImportedModel",
"bedrock:GetPromptRouter",
"sagemaker:InvokeEndpoint"
],
"Resource": [
"arn:aws:bedrock:*::foundation-model/*",
"arn:aws:bedrock:*:111122223333:inference-profile/*",
"arn:aws:bedrock:*:111122223333:provisioned-model/*",
"arn:aws:bedrock:*:111122223333:imported-model/*",
"arn:aws:bedrock:*:111122223333:application-inference-profile/*",
"arn:aws:bedrock:*:111122223333:default-prompt-router/*",
"arn:aws:sagemaker:*:111122223333:endpoint/*",
"arn:aws:bedrock:*:111122223333:marketplace/model-endpoint/all-access"
]
}
]
}
```
------
**필수 Amazon Augmented AI IAM 작업**
Amazon Bedrock이 인적 기반 모델 평가 작업과 관련된 리소스를 생성할 수 있도록 허용하는 정책도 생성해야 합니다. Amazon Bedrock은 모델 평가 작업을 시작하는 데 필요한 리소스를 생성하므로 반드시 `"Resource": "*"`를 사용해야 합니다. Amazon Bedrock 서비스 역할에 이 정책을 연결해야 합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "ManageHumanLoops",
"Effect": "Allow",
"Action": [
"sagemaker:StartHumanLoop",
"sagemaker:DescribeFlowDefinition",
"sagemaker:DescribeHumanLoop",
"sagemaker:StopHumanLoop",
"sagemaker:DeleteHumanLoop"
],
"Resource": "*"
}
]
}
```
------
**서비스 위탁자 요구 사항(Amazon Bedrock)**
Amazon Bedrock을 서비스 위탁자로 정의하는 신뢰 정책도 지정해야 합니다. 이렇게 하면 Amazon Bedrock이 역할을 수임할 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowBedrockToAssumeRole",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "111122223333"
},
"ArnEquals": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/*"
}
}
}
]
}
```
------
**서비스 위탁자 요구 사항(SageMaker AI)**
Amazon Bedrock을 서비스 위탁자로 정의하는 신뢰 정책도 지정해야 합니다. 이렇게 하면 SageMaker AI가 그 역할을 수임할 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowSageMakerToAssumeRole",
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
# 평가자 모델을 사용하는 모델 평가 작업을 생성하는 데 필요한 서비스 역할 권한
LLM을 심사자로 사용하는 모델 평가 작업을 생성하려면 서비스 역할을 지정해야 합니다. 연결하는 정책은 Amazon Bedrock에 사용자 계정의 리소스에 대한 액세스 권한을 부여하고 Amazon Bedrock이 사용자를 대신하여 선택한 모델을 간접 호출하도록 허용합니다.
신뢰 정책은 `bedrock.amazonaws.com`을 사용하여 Amazon Bedrock을 서비스 위탁자로 정의합니다. 다음 각 정책 예제는 모델 평가 작업에서 간접 호출된 각 서비스에 따라 필요한 정확한 IAM 작업을 보여 줍니다
아래 설명과 같이 사용자 지정 서비스 역할을 만들려면 *IAM 사용 설명서*의 [사용자 지정 신뢰 정책을 사용하는 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-custom.html)을 참조하세요.
## 필수 Amazon Bedrock IAM 작업
Amazon Bedrock이 모델 평가 작업에서 지정하려는 모델을 간접적으로 호출하도록 허용하는 정책을 생성해야 합니다. Amazon Bedrock에 대한 액세스 관리에 관한 자세한 내용은 [Amazon Bedrock 파운데이션 모델 액세스](model-access.md) 섹션을 참조하세요. 정책의 `"Resource"` 섹션에서 나에게도 액세스 권한이 있는 모델의 ARN을 하나 이상 지정해야 합니다. 고객 관리형 KMS 키로 암호화된 모델을 사용하려면 IAM 서비스 역할 정책에 필요한 IAM 작업 및 리소스를 추가해야 합니다. 또한 AWS KMS키 정책에 서비스 역할을 추가해야 합니다.
서비스 역할에는 지원되는 평가자 모델에 대한 액세스가 하나 이상 포함되어야 합니다. 현재 지원되는 평가자 모델 목록은 [지원되는 모델](evaluation-judge.md#evaluation-judge-supported) 섹션을 참조하세요.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockModelInvoke",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:CreateModelInvocationJob",
"bedrock:StopModelInvocationJob"
],
"Resource": [
"arn:aws:bedrock:us-east-1::foundation-model/*",
"arn:aws:bedrock:us-east-1:111122223333:inference-profile/*",
"arn:aws:bedrock:us-east-1:111122223333:provisioned-model/*",
"arn:aws:bedrock:us-east-1:111122223333:imported-model/*"
]
}
]
}
```
------
## 필수 Amazon S3 IAM 작업 및 리소스
서비스 역할 정책에는 모델 평가 작업의 출력을 저장하려는 Amazon S3 버킷에 대한 액세스와 `CreateEvaluationJob` 요청 또는 Amazon Bedrock 콘솔을 통해 지정한 프롬프트 데이터세트에 대한 액세스가 포함되어야 합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "FetchAndUpdateOutputBucket",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket",
"s3:PutObject",
"s3:GetBucketLocation",
"s3:AbortMultipartUpload",
"s3:ListBucketMultipartUploads"
],
"Resource": [
"arn:aws:s3:::my_customdataset1_bucket",
"arn:aws:s3:::my_customdataset1_bucket/myfolder",
"arn:aws:s3:::my_customdataset2_bucket",
"arn:aws:s3:::my_customdataset2_bucket/myfolder"
]
}
]
}
```
------
# 지식 기반 평가 작업의 서비스 역할 요구 사항
지식 기반 평가 작업을 생성하려면 서비스 역할을 지정해야 합니다. 역할에 연결하는 정책은 Amazon Bedrock에 계정의 리소스에 대한 액세스 권한을 부여하고 Amazon Bedrock이 다음을 수행하도록 허용합니다.
+ `RetrieveAndGenerate` API 작업을 사용하여 출력 생성을 위해 선택한 모델을 간접 호출하고 지식 기반 출력을 평가합니다.
+ 지식 기반 인스턴스에서 Amazon Bedrock 지식 기반 `Retrieve` 및 `RetrieveAndGenerate` API 작업을 간접 호출합니다.
사용자 지정 서비스 역할을 만들려면 *IAM 사용자 설명서*의 [사용자 지정 신뢰 정책을 사용하는 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-custom.html)을 참조하세요.
**Amazon S3 액세스에 필요한 IAM 작업**
다음 예제 정책은 다음 두 가지가 모두 발생하는 S3 버킷에 대한 액세스 권한을 부여합니다.
+ 지식 기반 평가 결과를 저장합니다.
+ Amazon Bedrock은 입력 데이터세트를 읽습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement":
[
{
"Sid": "AllowAccessToCustomDatasets",
"Effect": "Allow",
"Action":
[
"s3:GetObject",
"s3:ListBucket"
],
"Resource":
[
"arn:aws:s3:::my_customdataset1_bucket",
"arn:aws:s3:::my_customdataset1_bucket/myfolder",
"arn:aws:s3:::my_customdataset2_bucket",
"arn:aws:s3:::my_customdataset2_bucket/myfolder"
]
},
{
"Sid": "AllowAccessToOutputBucket",
"Effect": "Allow",
"Action":
[
"s3:GetObject",
"s3:ListBucket",
"s3:PutObject",
"s3:GetBucketLocation",
"s3:AbortMultipartUpload",
"s3:ListBucketMultipartUploads"
],
"Resource":
[
"arn:aws:s3:::my_output_bucket",
"arn:aws:s3:::my_output_bucket/myfolder"
]
}
]
}
```
------
**필수 Amazon Bedrock IAM 작업**
또한 Amazon Bedrock이 다음을 수행하도록 허용하는 정책을 생성해야 합니다.
1. 다음에 대해 지정하려는 모델을 간접 호출합니다.
+ `RetrieveAndGenerate` API 작업을 사용한 결과 생성.
+ 평가 결과.
정책의 `Resource` 키에서 사용자에게 액세스 권한이 있는 모델의 ARN을 하나 이상 지정해야 합니다. 고객 관리형 KMS 키로 암호화된 모델을 사용하려면 IAM 서비스 역할 정책에 필요한 IAM 작업 및 리소스를 추가해야 합니다. 또한 AWS KMS 키 정책에 서비스 역할을 추가해야 합니다.
1. `Retrieve` 및 `RetrieveAndGenerate` API 작업을 직접 호출합니다. 콘솔의 자동 역할 생성에서는 해당 작업에 대해 평가하도록 선택한 작업에 관계없이 `Retrieve` 및 `RetrieveAndGenerate` API 작업 모두에 권한을 부여합니다. 이렇게 하면 해당 역할에 대한 유연성과 재사용 가능성을 높일 수 있습니다. 그러나 보안을 강화하기 위해 자동으로 생성된 역할은 단일 지식 기반 인스턴스에 연결됩니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowSpecificModels",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream",
"bedrock:CreateModelInvocationJob",
"bedrock:StopModelInvocationJob",
"bedrock:GetProvisionedModelThroughput",
"bedrock:GetInferenceProfile",
"bedrock:GetImportedModel"
],
"Resource": [
"arn:aws:bedrock:us-east-1::foundation-model/*",
"arn:aws:bedrock:us-east-1:123456789012:inference-profile/*",
"arn:aws:bedrock:us-east-1:123456789012:provisioned-model/*",
"arn:aws:bedrock:us-east-1:123456789012:imported-model/*",
"arn:aws:bedrock:us-east-1:123456789012:application-inference-profile/*"
]
},
{
"Sid": "AllowKnowledgeBaseAPis",
"Effect": "Allow",
"Action": [
"bedrock:Retrieve",
"bedrock:RetrieveAndGenerate"
],
"Resource": [
"arn:aws:bedrock:us-east-1:123456789012:knowledge-base/knowledge-base-id"
]
}
]
}
```
------
**서비스 보안 주체 요구 사항**
Amazon Bedrock을 서비스 위탁자로 정의하는 신뢰 정책도 지정해야 합니다. 이 정책을 통해 Amazon Bedrock이 역할을 수임할 수 있습니다. Amazon Bedrock이 AWS 계정에서 모델 평가 작업을 생성하려면 와일드카드(`*`) 모델 평가 작업 ARN이 필요합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowBedrockToAssumeRole",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "123456789012"
},
"ArnEquals": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
}
]
}
```
------