기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# SageMaker Canvas의 생성형 AI 파운데이션 모델
Amazon SageMaker Canvas는 대화형 채팅을 시작하는 데 사용할 수 있는 생성형 AI 기반 모델을 제공합니다. 이러한 콘텐츠 생성 모델은 대량의 텍스트 데이터를 기반으로 훈련되어 단어 간의 통계적 패턴과 관계를 학습하고, 훈련된 텍스트와 통계적으로 유사한 일관성 있는 텍스트를 생성할 수 있습니다. 이 기능을 사용하여 다음을 수행하여 생산성을 높일 수 있습니다.
+ 문서 개요, 보고서 및 블로그와 같은 콘텐츠 생성
+ 수익 보고 기록, 연간 보고서, 사용자 설명서 장과 같은 방대한 양의 텍스트 요약
+ 회의 노트나 내러티브와 같은 대량의 텍스트 구절에서 통찰력과 주요 요점 추출
+ 텍스트를 개선하고 문법 오류나 오타 확인
파운데이션 모델은 Amazon SageMaker JumpStart 및 [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-service.html) LLM(대규모 언어 모델)의 조합입니다. Canvas는 다음 모델을 제공합니다.
| 모델 | Type | 설명 |
| --- | --- | --- |
| Amazon Titan | Amazon Bedrock 모델 | Amazon Titan은 요약, 텍스트 생성(예: 블로그 게시물 생성), 분류, 개방형 Q&A, 정보 추출 등의 작업에 사용할 수 있는 강력한 범용 언어 모델입니다. 이는 대규모 데이터세트에서 사전 훈련되므로 복잡한 작업과 추론에 적합합니다. 책임감 있는 AI 사용에 대한 모범 사례를 지속적으로 지원하기 위해 Amazon Titan 파운데이션 모델은 데이터에서 유해한 콘텐츠를 감지 및 제거하고, 사용자 입력에서 부적절한 콘텐츠를 거부하고, 부적절한 콘텐츠(예: 혐오 표현, 비속어, 폭력)가 포함된 모델 출력을 필터링하도록 빌드되었습니다. |
| Anthropic Claude Instant | Amazon Bedrock 모델 | Anthropic의 Claude Instant는 더 빠르고 비용 효율적이면서도 여전히 뛰어난 성능을 발휘하는 모델입니다. 이 모델은 간단한 대화, 텍스트 분석, 요약, 문서 질문 답변 등 다양한 작업을 처리할 수 있습니다. Claude-2와 마찬가지로 Claude Instant는 각 프롬프트에서 최대 100,000개의 토큰을 지원할 수 있으며, 이는 약 200페이지의 정보에 해당합니다. |
| Anthropic Claude-2 | Amazon Bedrock 모델 | Claude-2는 Anthropic의 가장 강력한 모델로, 정교한 대화와 창의적인 콘텐츠 생성부터 자세한 지침 준수에 이르기까지 광범위한 작업에 탁월합니다. Claude-2는 각 프롬프트에서 최대 100,000개의 토큰을 사용할 수 있으며, 이는 약 200페이지의 정보에 해당합니다. 이는 이전 버전에 비해 더 긴 응답을 생성할 수 있습니다. 질문 답변, 정보 추출, PII 제거, 콘텐츠 생성, 객관식 분류, 역할극, 텍스트 비교, 요약, 인용과 문서 Q&A 등의 사용 사례를 지원합니다. |
| Falcon-7B-Instruct | JumpStart 모델 | Falcon-7B-Instruct에는 70억 개의 파라미터가 있으며 채팅 및 명령 데이터세트를 혼합하여 세밀하게 조정되었습니다. 이는 가상 어시스턴트로 적합하며 지시를 따르거나 대화에 참여할 때 최고의 성능을 발휘합니다. 이 모델은 대량의 영어 웹 데이터를 기반으로 훈련되었으므로 온라인에서 흔히 볼 수 있는 고정관념과 편견을 지니고 있으며 영어 이외의 언어에는 적합하지 않습니다. Falcon-40B-Instruct와 비교하여 Falcon-7B-Instruct는 약간 더 작고 컴팩트한 모델입니다. |
| Falcon-40B-Instruct | JumpStart 모델 | Falcon-40B-Instruct는 400억 개의 파라미터를 가지고 있으며 채팅 및 명령 데이터세트를 혼합하여 세밀하게 조정되었습니다. 이는 가상 어시스턴트로 적합하며 지시를 따르거나 대화에 참여할 때 최고의 성능을 발휘합니다. 이 모델은 대량의 영어 웹 데이터를 기반으로 훈련되었으므로 온라인에서 흔히 볼 수 있는 고정관념과 편견을 지니고 있으며 영어 이외의 언어에는 적합하지 않습니다. Falcon-7B-Instruct와 비교하여 Falcon-40B-Instruct는 조금 더 크고 강력한 모델입니다. |
| Jurassic-2 Mid | Amazon Bedrock 모델 | Jurassic-2 Mid는 대규모 텍스트 코퍼스를 기반으로 훈련된 고성능 텍스트 생성 모델입니다(현재 2022년 중반까지). 이는 매우 다재다능하고 범용적이며 사람처럼 텍스트를 구성하고 질문 응답, 텍스트 분류 등과 같은 복잡한 작업을 해결할 수 있습니다. 이 모델은 제로샷 명령 기능을 제공하므로 예제를 사용하지 않고 자연어만 사용하여 지시할 수 있습니다. 이전 모델인 Jurassic-1 모델보다 최대 30% 더 빠르게 작동합니다. Jurassic-2 Mid는 AI21의 중형 모델로, 뛰어난 품질과 경제성 사이에서 적절한 균형을 이루도록 세심하게 설계되었습니다. |
| Jurassic-2 Ultra | Amazon Bedrock 모델 | Jurassic-2 Ultra는 대규모 텍스트 코퍼스를 기반으로 훈련된 고성능 텍스트 생성 모델입니다(현재 2022년 중반까지). 이는 매우 다재다능하고 범용적이며 사람처럼 텍스트를 구성하고 질문 응답, 텍스트 분류 등과 같은 복잡한 작업을 해결할 수 있습니다. 이 모델은 제로샷 명령 기능을 제공하므로 예제를 사용하지 않고 자연어만 사용하여 지시할 수 있습니다. 이전 모델인 Jurassic-1 모델보다 최대 30% 더 빠르게 작동합니다. Jurassic-2 Mid에 비해 Jurassic-2 Ultra는 약간 더 크고 강력한 모델입니다. |
| Llama-2-7b-Chat | JumpStart 모델 | Llama-2-7b-Chat은 의미 있고 논리 정연한 대화에 참여하고, 새 콘텐츠를 생성하고, 기존 노트에서 답변을 추출하는 데 적합한 Meta의 파운데이션 모델입니다. 이 모델은 영어로 된 대량의 인터넷 데이터를 기반으로 훈련되었으므로 온라인에서 흔히 볼 수 있는 고정관념과 편견을 지니고 있으며 영어를 사용하는 작업에 가장 적합합니다. |
| Llama-2-13B-Chat | Amazon Bedrock 모델 | Meta의 Llama-2-13B-Chat은 인터넷 데이터에 대한 초기 훈련 후 대화형 데이터에 대해 미세 조정되었습니다. 자연스러운 대화와 참여도 높은 채팅 기능에 최적화되어 대화 에이전트로 적합합니다. 더 작은 Llama-2-7b-Chat과 비교할 때 Llama-2-13B-Chat은 파라미터가 거의 두 배로 많아 컨텍스트를 더 많이 기억하고 뉘앙스가 있는 대화 응답을 더 많이 생성할 수 있습니다. Llama-2-7b-Chat과 마찬가지로 Llama-2-13B-Chat은 영어 데이터에 대해 훈련되었으며 영어를 사용하는 작업에 가장 적합합니다. |
| Llama-2-70B-Chat | Amazon Bedrock 모델 | Llama-2-7b-Chat 및 Llama-2-13B-Chat과 마찬가지로 Meta의 Llama-2-70B-Chat 모델은 자연스럽고 의미 있는 대화에 참여하는 데 최적화되어 있습니다. 700억 개의 파라미터가 있는 이 대규모 대화형 모델은 더 컴팩트한 모델 버전과 비교할 때 더 광범위한 컨텍스트를 기억하고 매우 논리 정연한 응답을 생성할 수 있습니다. 그러나 응답 속도가 느려지고 리소스 요구 사항이 늘어납니다. Llama-2-70B-Chat은 영어로 된 대량의 인터넷 데이터에 대해 훈련되었으며 영어를 사용하는 작업에 가장 적합합니다. |
| Mistral-7B | JumpStart 모델 | Mistral.AI의 Mistral-7B는 텍스트 생성, 요약 및 질문 응답과 같은 다양한 자연어(NLP) 작업에 적합한 우수한 범용 언어 모델입니다. 추론 속도가 빨라지는 그룹 쿼리 어텐션(GQA)을 활용하므로 파라미터가 두 배 또는 세 배 더 많은 모델과 비슷하게 작동합니다. 영어로 된 책, 웹 사이트 및 과학 논문 등이 혼합된 텍스트 데이터에 대해 훈련되었으므로 영어를 사용하는 작업에 가장 적합합니다. |
| Mistral-7B-Chat | JumpStart 모델 | Mistral-7B-Chat은 Mistral-7B를 기반으로 한 Mistral.AI의 대화형 모델입니다. Mistral-7B는 일반적인 NLP 작업에 가장 적합하지만 Mistral-7B-Chat은 대화형 데이터를 추가로 미세 조정하여 자연스럽고 참여도 높은 채팅을 위한 기능을 최적화했습니다. 따라서 Mistral-7B-Chat은 인간과 유사한 응답을 더 많이 생성하고 이전 응답의 컨텍스트를 기억합니다. Mistral-7B와 마찬가지로 이 모델은 영어를 사용하는 작업에 가장 적합합니다. |
| MPT-7B-Instruct | JumpStart 모델 | MPT-7B-Instruct는 작업에 따른 긴 형식의 지침을 위한 모델이며, 텍스트 요약 및 질문 답변을 포함한 작업 작성을 지원하여 시간과 노력을 절약할 수 있습니다. 이 모델은 대량의 미세 조정된 데이터를 기반으로 훈련되었으며 복잡한 문서와 같은 대규모 입력을 처리할 수 있습니다. 대량의 텍스트를 처리하거나 모델이 긴 응답을 생성하도록 하려는 경우 이 모델을 사용하세요. |
Amazon Bedrock의 파운데이션 모델은 현재 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전에서만 제공됩니다. 또한 Amazon Bedrock의 파운데이션 모델을 사용하는 경우 각 모델 공급자가 지정한 입력 토큰 및 출력 토큰의 양을 기준으로 요금이 부과됩니다. 자세한 정보는 [Amazon Bedrock 요금 페이지](https://aws.amazon.com/bedrock/pricing/)를 참조하세요. JumpStart 파운데이션 모델은 SageMaker AI 호스팅 인스턴스에 배포되며, 사용된 인스턴스 유형에 따라 사용 기간에 대한 요금이 부과됩니다. 다양한 인스턴스 유형의 비용에 대한 자세한 내용은 [SageMaker 요금 페이지](https://aws.amazon.com/sagemaker/pricing/)의 Amazon SageMaker AI 호스팅: 실시간 추론 섹션을 참조하세요.
문서 쿼리는 Amazon Kendra를 사용하여 인덱스에 저장된 문서를 쿼리하고 해당 문서에서 통찰력을 얻는 데 사용할 수 있는 추가 기능입니다. 이 기능을 사용하면 파운데이션 모델이 훈련된 대량의 데이터에 대한 일반적인 응답과 달리, 해당 문서의 컨텍스트에서 콘텐츠를 생성하고 비즈니스 사용 사례에 맞는 응답을 받을 수 있습니다. Amazon Kendra의 인덱스에 대한 자세한 내용은 [Amazon Kendra 개발자 안내서](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)를 참조하세요.
데이터 및 사용 사례에 맞게 사용자 지정된 파운데이션 모델에서 응답을 가져오려면 파운데이션 모델을 미세 조정하면 됩니다. 자세한 내용은 [파운데이션 모델 미세 조정](canvas-fm-chat-fine-tune.md)를 참조하세요.
애플리케이션 또는 웹사이트를 통해 Amazon SageMaker JumpStart 파운데이션 모델에서 예측을 가져오려면 모델을 SageMaker AI *엔드포인트*에 배포할 수 있습니다. SageMaker AI 엔드포인트는 모델을 호스팅하며, 애플리케이션 코드를 통해 엔드포인트에 요청을 보내 모델로부터 예측을 수신할 수 있습니다. 자세한 내용은 [엔드포인트에 모델 배포](canvas-deploy-model.md) 단원을 참조하십시오.
# SageMaker Canvas에서 파운데이션 모델의 사전 조건 충족 완료
다음 섹션에서는 파운데이션 모델과 상호 작용하고 Canvas의 문서 쿼리 기능을 사용하기 위한 사전 조건을 설명합니다. 이 페이지의 나머지 콘텐츠에서는 파운데이션 모델의 사전 조건을 충족했다고 가정합니다. 문서 쿼리 기능에는 추가 권한이 필요합니다.
## 파운데이션 모델의 사전 조건
모델과 상호 작용하는 데 필요한 권한은 Canvas 즉시 사용 가능 모델 권한에 포함되어 있습니다. Canvas에서 생성형 AI 기반 모델을 사용하려면 Amazon SageMaker AI 도메인을 설정할 때 **Canvas 즉시 사용 가능 모델 구성** 권한을 활성화해야 합니다. 자세한 내용은 [Amazon SageMaker Canvas를 설정하기 위한 사전 조건](canvas-getting-started.md#canvas-prerequisites) 단원을 참조하십시오. **Canvas 즉시 사용 가능 모델 구성**은 [AmazonSageMakerCanvasAIServicesAccess](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-canvas.html#security-iam-awsmanpol-AmazonSageMakerCanvasAIServicesAccess) 정책을 Canvas 사용자의 AWS Identity and Access Management (IAM) 실행 역할에 연결합니다. 권한 부여와 관련하여 문제가 발생하는 경우 [SageMaker AI 콘솔을 통한 권한 부여 관련 문제 해결](canvas-limits.md#canvas-troubleshoot-trusted-services)항목을 참조하세요.
도메인을 이미 설정한 경우 도메인 설정을 편집하고 권한을 설정할 수 있습니다. 도메인 설정을 편집하는 방법에 대한 지침은 [도메인 설정 편집](domain-edit.md) 섹션을 참조하세요. 도메인 설정을 편집할 때는 **Canvas 설정**으로 이동하여 **Canvas 즉시 사용 가능 모델 활성화** 옵션을 설정하세요.
특정 JumpStart 파운데이션 모델에서도 SageMaker AI 인스턴스 할당량 증가를 요청해야 합니다. Canvas는 이러한 인스턴스에서 현재 상호 작용하고 있는 모델을 호스팅하지만 계정의 기본 할당량이 충분하지 않을 수 있습니다. 다음 모델을 실행하는 동안 오류가 발생하는 경우 연결된 인스턴스 유형에 대한 할당량 증가를 요청하세요.
+ Falcon-40B – `ml.g5.12xlarge`, `ml.g5.24xlarge`
+ Falcon-13B – `ml.g5.2xlarge`, `ml.g5.4xlarge`, `ml.g5.8xlarge`
+ MPT-7B-Instruct – `ml.g5.2xlarge`, `ml.g5.4xlarge`, `ml.g5.8xlarge`
이전 인스턴스 유형의 경우 엔드포인트 사용 할당량을 0에서 1로 늘리도록 요청하세요. 계정의 인스턴스 할당량을 늘리는 방법에 대한 자세한 내용은 *서비스 할당량 사용 설명서*의 [할당량 증가 요청](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html)을 참조하세요.
## 문서 쿼리를 위한 사전 조건
**참고**
문서 쿼리는 AWS 리전미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 유럽(아일랜드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 아시아 태평양(뭄바이)에서 지원됩니다.
문서 쿼리 기능을 사용하려면 문서와 문서 메타데이터를 저장하는 Amazon Kendra 인덱스가 이미 있어야 합니다. Amazon Kendra에 대한 자세한 내용은 [Amazon Kendra 개발자 안내서](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)를 참조하세요. 인덱스 쿼리 할당량에 대해 자세히 알아보려면 *Amazon Kendra 개발자 안내서*의 [할당량](https://docs.aws.amazon.com/kendra/latest/dg/quotas.html)을 참조하세요.
또한 Canvas 사용자 프로필에 문서 쿼리에 필요한 권한이 있는지 확인해야 합니다. [AmazonSageMakerCanvasFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerCanvasFullAccess.html) 정책은 Canvas 애플리케이션을 호스팅하는 SageMaker AI 도메인의 AWS IAM 실행 역할에 연결되어야 합니다(이 정책은 기본적으로 모든 신규 및 기존 Canvas 사용자 프로필에 연결됨). 또한 문서 쿼리 권한을 구체적으로 부여하고 하나 이상의 Amazon Kendra 인덱스에 대한 액세스 권한을 지정해야 합니다.
Canvas 관리자가 새 도메인 또는 사용자 프로필을 설정하는 경우 [Amazon SageMaker Canvas를 설정하기 위한 사전 조건](canvas-getting-started.md#canvas-prerequisites)의 지침에 따라 도메인을 설정하도록 하세요. 도메인을 설정하는 동안 **Canvas 즉시 사용 가능 모델 구성**을 통해 문서 쿼리 권한을 활성화할 수 있습니다.
Canvas 관리자는 사용자 프로필 수준에서도 문서 쿼리 권한을 관리할 수 있습니다. 예를 들어 관리자가 일부 사용자 프로필에는 문서 쿼리 권한을 부여하고 다른 사용자 프로필에 대한 권한은 제거하려는 경우 특정 사용자에 대한 권한을 편집할 수 있습니다.
다음 절차에서는 특정 사용자 프로필에 대한 문서 쿼리 권한을 설정하는 방법을 보여줍니다.
1. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)에서 SageMaker AI 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **관리자 구성**을 선택합니다.
1. **관리자 구성**에서 **도메인**을 선택합니다.
1. 도메인 목록에서 사용자 프로필의 도메인을 선택합니다.
1. **도메인 세부 정보** 페이지에서 권한을 편집하려는 **사용자 프로필**을 선택합니다.
1. **사용자 세부 정보** 페이지에서 **편집**을 선택합니다.
1. 왼쪽의 탐색 창에서 **Canvas 설정**을 선택합니다.
1. **Canvas 즉시 사용 가능 모델 구성** 섹션에서 **Amazon Kendra를 사용하여 문서 쿼리 활성화** 토글을 활성화합니다.
1. 드롭다운에서 액세스 권한을 부여하려는 Amazon Kendra 인덱스를 하나 이상 선택합니다.
1. **제출**을 선택하여 도메인 설정 변경 내용을 저장합니다.
이제 Canvas 기반 모델을 사용하여 지정된 Amazon Kendra 인덱스의 문서를 쿼리할 수 있습니다.
# 새로운 대화를 시작하여 콘텐츠 생성, 추출 또는 요약
Canvas에서 생성형 AI 기반 모델을 시작하려면 모델 중 하나를 사용하여 새 채팅 세션을 시작할 수 있습니다. JumpStart 모델의 경우 모델이 활성 상태일 때 요금이 부과되므로 모델을 사용하고 싶을 때 모델을 시작하고 상호작용이 끝나면 종료해야 합니다. JumpStart 모델을 종료하지 않을 경우 Canvas는 2시간 동안 작동하지 않으면 해당 모델을 종료합니다. Amazon Bedrock 모델(예: Amazon Titan)의 경우 즉시 요금이 청구됩니다. 모델은 이미 활성 상태이므로 시작하거나 종료할 필요가 없습니다. Amazon Bedrock은 이러한 모델 사용에 대해 직접 요금을 청구합니다.
모델과 채팅을 시작하려면 다음을 수행합니다.
1. SageMaker Canvas 애플리케이션을 엽니다.
1. 왼쪽 탐색 창에서 **즉시 사용 가능 모델**을 선택합니다.
1. **콘텐츠 생성, 추출 및 요약**을 선택합니다.
1. 시작 페이지에서 기본 모델을 시작하라는 권장 사항이 표시됩니다. 권장 모델을 시작하거나 드롭다운에서 **다른 모델 선택**을 선택하여 다른 모델을 선택할 수 있습니다.
1. JumpStart 파운데이션 모델을 선택한 경우 해당 모델을 사용하려면 먼저 시작해야 합니다. **모델 시작**을 선택하면 모델이 SageMaker AI 인스턴스에 배포됩니다. 완료하는 데 몇 분이 걸릴 수 있습니다. 모델이 준비되면 프롬프트를 입력하고 모델에 질문을 할 수 있습니다.
Amazon Bedrock에서 파운데이션 모델을 선택한 경우 프롬프트를 입력하고 질문을 하면 즉시 사용을 시작할 수 있습니다.
모델에 따라 다양한 작업을 수행할 수 있습니다. 예를 들어, 텍스트 구절을 입력하고 모델에 이를 요약하도록 요청할 수 있습니다. 또는 해당 도메인의 시장 동향에 대한 간략한 요약을 제시하도록 모델에 요청할 수 있습니다.
채팅에서 모델의 응답은 이전 프롬프트의 컨텍스트를 기반으로 합니다. 채팅에서 이전 대화 주제와 관련이 없는 새 질문을 하려면 모델과 새 채팅을 시작하는 것이 좋습니다.
# 문서 쿼리를 통해 문서에서 정보 추출
**참고**
이 섹션에서는 위 [문서 쿼리를 위한 사전 조건](canvas-fm-chat-prereqs.md#canvas-fm-chat-prereqs-kendra)섹션을 완료했다고 가정합니다.
문서 쿼리는 Canvas에서 파운데이션 모델과 상호 작용하는 동안 사용할 수 있는 기능입니다. 문서 쿼리를 사용하면 Amazon Kendra *인덱스*에 저장된 문서 모음에 액세스할 수 있으며, 이 인덱스는 문서 콘텐츠를 보유하고 있으며 문서를 검색할 수 있도록 구조화되어 있습니다. Amazon Kendra 인덱스의 데이터를 대상으로 하는 특정 질문을 하면 파운데이션 모델은 질문에 대한 답변을 반환합니다. 예를 들어, IT 정보에 대한 내부 지식 기반을 쿼리하고 “회사 네트워크에 연결하려면 어떻게 해야 합니까?”와 같은 질문을 할 수 있습니다. 인덱스 설정에 대한 자세한 내용은 [Amazon Kendra 개발자 안내서](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)를 참조하세요.
문서 쿼리 기능을 사용할 때 파운데이션 모델은 RAG(Retrieval Augmented Generation)라는 기법을 사용하여 인덱스에 있는 문서의 내용에 대한 응답을 제한합니다. 이 기법은 인덱스에서 가장 관련성이 높은 정보를 사용자 프롬프트와 함께 묶어 파운데이션 모델로 보내 응답을 받습니다. 응답은 인덱스에서 찾을 수 있는 내용으로 제한되므로, 모델이 외부 데이터를 기반으로 잘못된 응답을 제공하는 것을 방지할 수 있습니다. 이 프로세스에 대한 자세한 내용은 [기업 데이터를 기반으로 정확도 높은 생성형 AI 애플리케이션을 빠르게 빌드하기](https://aws.amazon.com/blogs/machine-learning/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/) 블로그 게시물을 참조하세요.
시작하려면 Canvas에서 파운데이션 모델과의 채팅에서 페이지 상단의 **문서 쿼리** 토글을 설정하세요. 드롭다운에서 쿼리하려는 Amazon Kendra 인덱스를 선택합니다. 그런 다음 인덱스에 있는 문서와 관련된 질문을 시작할 수 있습니다.
**중요**
문서 쿼리는 이 [모델 출력 비교](canvas-fm-chat-compare.md)기능을 지원합니다. 모델 결과를 비교하기 위해 새 채팅을 시작하면 기존 채팅 기록을 모두 덮어씁니다.
# 모델 시작
**참고**
다음 섹션에서는 Falcon-40B-Instruct와 같은 JumpStart 파운데이션 모델에만 적용되는 모델 시작에 대해 설명합니다. Amazon Titan과 같은 Amazon Bedrock 모델에 언제든지 즉시 액세스할 수 있습니다.
JumpStart 모델은 원하는 수만큼 시작할 수 있습니다. 활성화된 JumpStart 모델마다 계정에 요금이 부과되므로 현재 사용 중인 모델보다 더 많은 모델을 시작하지 않는 것이 좋습니다.
다른 모델을 시작하려면 다음 작업을 수행할 수 있습니다.
1. **콘텐츠 생성, 추출 및 요약** 페이지에서 **새 채팅**을 선택합니다.
1. 드롭다운 메뉴에서 모델을 선택합니다. 드롭다운에 표시되지 않은 모델을 선택하려면 **다른 모델 시작**을 선택한 다음 시작하려는 모델을 선택합니다.
1. **모델 시작**을 선택합니다.
모델이 시작되기 시작하고 몇 분 내에 모델과 채팅할 수 있습니다.
# 모델 종료
사용하지 않는 모델은 종료하는 것이 좋습니다. 2시간 동안 사용하지 않으면 모델이 자동으로 종료됩니다. 하지만 모델을 수동으로 종료하려면 다음을 수행할 수 있습니다.
1. **콘텐츠 생성, 추출 및 요약** 페이지에서 종료하려는 모델의 채팅을 엽니다.
1. 채팅 페이지에서 **추가 옵션** 아이콘(![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png))을 선택합니다.
1. **모델 종료**를 선택합니다.
1. **모델 종료** 확인 상자에서 **종료**를 선택합니다.
모델이 종료되기 시작합니다. 채팅에서 두 개 이상의 모델을 비교하는 경우 모델의 **추가 옵션** 아이콘(![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png))을 선택한 다음 **모델 종료**를 선택하여 채팅 페이지에서 개별 모델을 종료할 수 있습니다.
# 모델 출력 비교
여러 모델의 출력을 나란히 비교하여 어떤 모델 출력을 선호하는지 확인할 수 있습니다. 이를 통해 사용 사례에 가장 적합한 모델을 결정하는 데 도움이 될 수 있습니다. 채팅에서 모델을 최대 3개까지 비교할 수 있습니다.
**참고**
각 개별 모델마다 계정에 요금이 부과됩니다.
비교할 모델을 추가하려면 새 채팅을 시작해야 합니다. 채팅에서 모델의 결과를 나란히 비교하려면 다음을 수행하세요.
1. 채팅에서 **새 채팅**을 선택합니다.
1. **비교**를 선택하고 드롭다운 메뉴를 사용하여 추가하려는 모델을 선택합니다. 세 번째 모델을 추가하려면 **비교**를 다시 선택하여 다른 모델을 추가합니다.
**참고**
현재 활성화되지 않은 JumpStart 모델을 사용하려는 경우 모델을 시작하라는 메시지가 표시됩니다.
모델이 활성화되면 채팅에서 두 모델을 나란히 볼 수 있습니다. 프롬프트를 제출하면 다음 스크린샷과 같이 각 모델이 동일한 채팅에서 응답합니다.
![\[두 모델의 출력이 나란히 표시된 Canvas 인터페이스 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/canvas-chat-compare-outputs.png)
상호작용이 끝나면 추가 요금이 발생하지 않도록 JumpStart 모델을 개별적으로 종료해야 합니다.
# 파운데이션 모델 미세 조정
Amazon SageMaker Canvas를 통해 액세스할 수 있는 파운데이션 모델은 다양한 범용 작업에 도움이 될 수 있습니다. 그러나 특정한 사용 사례가 있고 자체 데이터를 기반으로 사용자 지정 응답을 원하는 경우 파운데이션 모델을 *미세 조정*할 수 있습니다.
파운데이션 모델을 미세 조정하려면 샘플 프롬프트와 모델 응답으로 구성된 데이터세트를 제공합니다. 그런 다음 데이터에 대해 파운데이션 모델을 훈련합니다. 마지막으로, 미세 조정된 파운데이션 모델은 보다 구체적인 응답을 제공할 수 있습니다.
다음 목록에는 Canvas에서 미세 조정할 수 있는 파운데이션 모델이 나와 있습니다.
+ Titan Express
+ Falcon-7B
+ Falcon-7B-Instruct
+ Falcon-40B-Instruct
+ Falcon-40B
+ Flan-T5-Large
+ Flan-T5-Xl
+ Flan-T5-Xxl
+ MPT-7B
+ MPT-7B-Instruct
모델을 미세 조정하는 동안 Canvas 애플리케이션의 각 파운데이션 모델에 대한 자세한 정보에 액세스할 수 있습니다. 자세한 내용은 [모델 미세 조정](#canvas-fm-chat-fine-tune-procedure-model) 섹션을 참조하세요.
이 주제에서는 Canvas에서 파운데이션 모델을 미세 조정하는 방법을 설명합니다.
## 시작하기 전 준비 사항
파운데이션 모델을 미세 조정하기 전에 Canvas의 Ready-to-use 가능 모델에 대한 권한과 Amazon Bedrock과 신뢰 관계가 있는 AWS Identity and Access Management 실행 역할이 있는지 확인합니다. 그러면 Amazon Bedrock이 파운데이션 모델을 미세 조정하면서 역할을 수임할 수 있습니다.
Amazon SageMaker AI 도메인을 설정하거나 편집할 때는 1) Canvas 즉시 사용 가능 모델 구성 권한을 켜고, 2) SageMaker AI가 Amazon Bedrock과의 신뢰 관계를 연결하는 IAM 실행 역할인 Amazon Bedrock 역할을 만들거나 지정해야 합니다. 이러한 설정을 구성하는 것에 대한 자세한 내용은 [Amazon SageMaker Canvas를 설정하기 위한 사전 조건](canvas-getting-started.md#canvas-prerequisites) 섹션을 참조하세요.
자체 IAM 실행 역할을 사용하려면 SageMaker AI가 사용자를 대신하여 역할을 만들도록 하지 않고 Amazon Bedrock 역할을 수동으로 구성하면 됩니다. Amazon Bedrock과 자체 IAM 실행 역할의 신뢰 관계를 구성하는 방법에 대한 자세한 내용은 [Canvas에서 Amazon Bedrock 및 생성형 AI 기능을 사용할 수 있는 권한을 사용자에게 부여](canvas-fine-tuning-permissions.md) 섹션을 참조하세요.
또한 대규모 언어 모델(LLM)을 미세 조정하기 위한 형식의 데이터세트가 있어야 합니다. 다음은 데이터세트의 요구 사항 목록입니다.
+ 데이터세트는 테이블 형식이어야 하며 텍스트 데이터의 열 2개 이상을 포함해야 합니다. 하나는 입력 열(모델에 대한 예시 프롬프트가 있는 열)이고 다른 하나는 출력 열(모델의 예시 응답이 있는 열)입니다.
예시는 다음과 같습니다.
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/canvas-fm-chat-fine-tune.html)
+ 데이터세트에는 최소 100개의 텍스트 쌍(상응하는 입력 및 출력 항목이 있는 행)가 있는 것이 좋습니다. 이렇게 하면 파운데이션 모델이 미세 조정을 위해 충분한 데이터를 확보할 수 있고 응답의 정확도가 높아집니다.
+ 각 입력 및 출력 항목은 최대 512자를 포함해야 합니다. 더 긴 내용은 파운데이션 모델을 미세 조정할 때 512자로 줄어듭니다.
Amazon Bedrock 모델을 미세 조정할 때는 Amazon Bedrock 할당량을 준수해야 합니다. 자세한 내용은 *Amazon Bedrock 사용 설명서*의 [Model customization quotas](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html#model-customization-quotas)를 참조하세요.
Canvas의 일반 데이터세트 요구 사항 및 제한 사항에 대한 자세한 내용은 [데이터세트 생성](canvas-import-dataset.md) 섹션을 참조하세요.
## 파운데이션 모델 미세 조정
Canvas 애플리케이션에서 다음 방법 중 하나를 사용하여 파운데이션 모델을 미세 조정할 수 있습니다.
+ 파운데이션 모델과의 **콘텐츠 채팅 생성, 추출 및 요약** 채팅에서 **미세 조정 모델** 아이콘(![\[Magnifying glass icon with a plus sign, indicating a search or zoom-in function.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/wrench-icon-small.png))을 선택합니다.
+ 파운데이션 모델과 채팅하는 동안 응답을 두 번 이상 다시 생성한 경우 Canvas는 **모델을 미세 조정**할 수 있는 옵션을 제공합니다. 다음 스크린샷은 이러한 상황을 보여줍니다.
![\[채팅에 표시된 파운데이션 미세 조정 모델 옵션의 스크린샷\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/fine-tuning-ingress.png)
+ **내 모델** 페이지에서 **새 모델**을 선택한 다음 **파운데이션 모델 미세 조정**을 선택하여 새 모델을 만들 수 있습니다.
+ **즉시 사용 가능 모델** 홈 페이지에서 **자체 모델 만들기**를 선택한 다음 **새 모델 만들기** 대화 상자에서 **파운데이션 모델 미세 조정**을 선택합니다.
+ **Data Wrangler** 탭에서 데이터세트를 둘러보는 동안 데이터세트를 선택하고 **모델 만들기**를 선택할 수 있습니다. 그런 다음 **파운데이션 모델 미세 조정**을 선택합니다.
모델을 미세 조정하기 시작한 후 다음을 수행합니다.
### 데이터세트 선택
모델 미세 조정의 **선택** 탭에서 파운데이션 모델을 훈련시킬 데이터를 선택합니다.
기존 데이터세트를 선택하거나 [시작하기 전 준비 사항](#canvas-fm-chat-fine-tune-prereqs) 섹션에 나열된 요구 사항을 충족하는 새 데이터세트를 만듭니다. 데이터세트를 만드는 방법에 대한 자세한 내용은 [데이터세트 생성](canvas-import-dataset.md) 섹션을 참조하세요.
데이터세트를 선택하거나 만든 후 계속 진행할 준비가 되면 **데이터세트 선택**을 선택합니다.
### 모델 미세 조정
데이터를 선택하면 이제 훈련을 시작하고 모델을 미세 조정할 준비가 되었습니다.
**미세 조정** 탭에서 다음을 수행합니다.
1. (선택 사항) **파운데이션 모델에 대해 자세히 알아보기**를 선택하여 각 모델에 대한 자세한 정보에 액세스합니다. 배포할 파운데이션 모델 또는 모델을 결정하는 데 도움이 됩니다.
1. **최대 3개의 기본 모델 선택**에서 드롭다운 메뉴를 열고 훈련 작업 중에 미세 조정하려는 파운데이션 모델을 최대 3개(최대 2개의 JumpStart 모델 및 1개의 Amazon Bedrock 모델)까지 선택합니다. 여러 파운데이션 모델을 미세 조정하여 성능을 비교하고 궁극적으로 사용 사례에 가장 적합한 모델을 기본 모델로 선택할 수 있습니다. 기본 모델에 대한 자세한 내용은 [모델 리더보드에서 모델 후보 보기](canvas-evaluate-model-candidates.md) 섹션을 참조하세요.
1. **입력 열 선택**에서 예시 모델 프롬프트가 포함된 데이터세트의 텍스트 데이터 열을 선택합니다.
1. **출력 열 선택**에서 예시 모델 응답이 포함된 데이터세트의 텍스트 데이터 열을 선택합니다.
1. (선택 사항) 훈련 작업에 대한 고급 설정을 구성하려면 **모델 구성**을 선택합니다. 고급 모델 빌드 설정에 대한 추가 정보는 [고급 모델 빌드 구성](canvas-advanced-settings.md) 섹션을 참조하세요.
**모델 구성** 팝업 창에서 다음을 수행합니다.
1. **하이퍼파라미터**의 경우 선택한 각 모델에 대해 **Epoch 수**, **배치 크기**, **학습 속도** 및 **학습 속도 워밍업 단계**를 조정할 수 있습니다. 이러한 파라미터에 대한 자세한 내용은 [JumpStart 설명서의 Hyperparameters 섹션](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-fine-tune.html#jumpstart-hyperparameters)을 참조하세요.
1. **데이터 분할**의 경우 **훈련 세트**와 **검증 세트** 간에 데이터를 나누는 데 사용할 백분율을 지정할 수 있습니다.
1. **최대 작업 런타임**의 경우 Canvas가 빌드 작업을 실행하는 최대 시간을 설정할 수 있습니다. 이 기능은 JumpStart 파운데이션 모델에서만 사용할 수 있습니다.
1. 설정을 구성한 후 **저장**을 선택합니다.
1. **미세 조정**을 선택하여 선택한 파운데이션 모델 훈련을 시작합니다.
미세 조정 작업이 시작된 후 페이지에서 나갈 수 있습니다. **내 모델** 페이지에 모델이 **준비됨**으로 표시되면 사용할 준비가 된 것입니다. 이제 미세 조정된 파운데이션 모델의 성능을 분석할 수 있습니다.
### 미세 조정된 파운데이션 모델 분석
미세 조정된 파운데이션 모델의 **분석** 탭에서 모델의 성능을 확인할 수 있습니다.
이 페이지의 **개요** 탭은 훈련 중에 시간 경과에 따른 모델의 개선을 시각화하는 분석과 함께 복잡성 및 손실 점수를 보여줍니다. 다음 스크린샷은 **개요** 탭을 보여줍니다.
![\[Canvas에서 미세 조정된 파운데이션 모델의 분석 탭으로, 복잡성 및 손실 곡선을 보여줍니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-analyze-2.png)
이 페이지에서는 다음 시각화를 볼 수 있습니다.
+ **복잡성 곡선**은 모델이 시퀀스에서 다음 단어를 얼마나 잘 예측하는지 또는 모델 출력이 얼마나 문법적인지 측정합니다. 훈련 중에 모델이 개선되면 점수가 감소하고 시간이 지남에 따라 곡선이 낮아지고 평탄해지는 것이 가장 좋습니다.
+ **손실 곡선**은 올바른 출력과 모델의 예상 출력 간의 차이를 정량화합니다. 시간이 지남에 따라 감소하고 평탄해지는 손실 곡선은 모델이 정확하게 예측하는 능력을 개선하고 있음을 나타냅니다.
**고급 지표** 탭에는 모델의 하이퍼파라미터와 추가 지표가 표시됩니다. 모습은 다음 스크린샷과 같습니다.
![\[Canvas에서 미세 조정된 파운데이션 모델의 고급 지표 탭 스크린샷\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-metrics.png)
**고급 지표** 탭에는 다음 정보가 포함되어 있습니다.
+ **설명 가능성** 섹션에는 **하이퍼파라미터**가 포함되어 있습니다. 하이퍼파라미터는 모델의 미세 조정을 안내하기 위해 작업 전에 설정된 값입니다. [모델 미세 조정](#canvas-fm-chat-fine-tune-procedure-model) 섹션의 모델 고급 설정에서 사용자 지정 하이퍼파라미터를 지정하지 않은 경우 Canvas가 기본 하이퍼파라미터를 선택합니다.
JumpStart 모델의 경우 모델에서 생성된 요약의 품질을 평가하는 고급 지표인 [ROUGE(Recall-Oriented Understudy for Gisting Evaluation)](https://en.wikipedia.org/wiki/ROUGE_(metric))도 볼 수 있습니다. 이 지표는 모델이 구절의 주요 포인트를 얼마나 잘 요약할 수 있는지 측정합니다.
+ **아티팩트** 섹션에서는 미세 조정 작업 중에 생성된 아티팩트에 대한 링크를 제공합니다. Amazon S3에 저장된 훈련 및 검증 데이터와 모델 평가 보고서 링크(자세한 내용은 다음 단락 참조)에 액세스할 수 있습니다.
모델 평가 인사이트를 더 많이 얻으려면 모델 및 데이터의 편향을 감지하는 데 도움이 되는 기능인 [SageMaker Clarify](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html)를 사용하여 생성된 보고서를 다운로드할 수 있습니다. 먼저 페이지 하단에서 **평가 보고서 생성**을 선택하여 보고서를 생성합니다. 보고서가 생성된 후 **보고서 다운로드**를 선택하거나 **아티팩트** 섹션으로 돌아가서 전체 보고서를 다운로드할 수 있습니다.
Python 코드에서 미세 조정 작업을 복제하는 방법을 보여주는 Jupyter Notebook에 액세스할 수도 있습니다. 이를 사용하여 미세 조정 작업을 복제하거나 프로그래밍 방식으로 변경하거나 Canvas가 모델을 미세 조정하는 방법을 더 깊이 이해할 수 있습니다. 모델 노트북과 이에 액세스하는 방법에 대한 자세한 내용은 [모델 노트북 다운로드](canvas-notebook.md) 섹션을 참조하세요.
미세 조정된 파운데이션 모델의 **분석** 탭에서 정보를 해석하는 방법에 대한 자세한 내용은 [모델 평가](canvas-evaluate-model.md) 섹션을 참조하세요.
**개요** 및 **고급 지표** 탭을 분석한 후 **모델 리더보드**를 열 수도 있습니다. 그러면 빌드 중에 훈련된 기본 모델 목록이 표시됩니다. 손실 점수가 가장 낮은 모델은 가장 성능이 좋은 모델로 간주되며 **분석** 탭에서 분석을 볼 수 있는 모델인 **기본 모델**로 선택됩니다. 기본 모델만 테스트하고 배포할 수 있습니다. 모델 리더보드 및 기본 모델 변경 방법에 대한 자세한 내용은 [모델 리더보드에서 모델 후보 보기](canvas-evaluate-model-candidates.md) 섹션을 참조하세요.
### 채팅에서 미세 조정된 파운데이션 모델 테스트
미세 조정된 파운데이션 모델의 성능을 분석한 후 테스트하거나 기본 모델과 응답을 비교해야 할 수 있습니다. 채팅의 **콘텐츠 생성, 추출 및 요약** 기능에서 미세 조정된 파운데이션 모델을 테스트할 수 있습니다.
다음 방법 중 하나를 선택하여 미세 조정된 모델과 채팅을 시작합니다.
+ 미세 조정된 모델의 **분석** 탭에서 **즉시 사용 가능 파운데이션 모델에서 테스트**를 선택합니다.
+ Canvas **즉시 사용 가능 모델** 페이지에서 **콘텐츠 생성, 추출 및 요약**을 선택합니다. 그런 다음 **새 채팅**을 선택하고 테스트할 모델의 버전을 선택합니다.
모델은 채팅에서 시작되며 다른 파운데이션 모델과 마찬가지로 상호작용할 수 있습니다. 채팅에 모델을 더 추가하고 출력을 비교할 수 있습니다. 채팅 기능에 대한 자세한 내용은 [SageMaker Canvas의 생성형 AI 파운데이션 모델](canvas-fm-chat.md) 섹션을 참조하세요.
## 미세 조정된 파운데이션 모델 운영
Canvas에서 모델을 미세 조정한 후 다음을 수행할 수 있습니다.
+ 조직의 MLOps 프로세스에 통합하기 위해 모델을 SageMaker 모델 레지스트리에 등록합니다. 자세한 내용은 [SageMaker AI 모델 레지스트리에 모델 버전 등록](canvas-register-model.md) 단원을 참조하십시오.
+ 모델을 SageMaker AI 엔드포인트에 배포하고 애플리케이션 또는 웹사이트에서 모델로 요청을 보내 예측(또는 *추론*)을 가져옵니다. 자세한 내용은 [엔드포인트에 모델 배포](canvas-deploy-model.md) 단원을 참조하십시오.
**중요**
JumpStart 기반 미세 조정 파운데이션 모델만 등록하고 배포할 수 있으며 Amazon Bedrock 기반 모델은 불가능합니다.