Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Stellen Sie mithilfe AWS von Terraform und Amazon Bedrock einen RAG-Anwendungsfall bereit
*Martin Maritsch, Nicolas Jacob Bär, Olivier Brique, Julian Ferdinand Grueber, Alice Morano und Nicola D Orazio, Amazon Web Services*
## Zusammenfassung
AWS bietet verschiedene Optionen zur Erstellung Ihrer generativen KI-Anwendungsfälle, die [Retrieval](https://aws.amazon.com/what-is/retrieval-augmented-generation/) Augmented Generation (RAG) unterstützen. Dieses Muster bietet Ihnen eine Lösung für eine RAG-basierte Anwendung, die auf Amazon Aurora PostgreSQL basiert LangChain und als Vector Store kompatibel ist. Sie können diese Lösung mit Terraform direkt in Ihrem eigenen implementieren AWS-Konto und den folgenden einfachen RAG-Anwendungsfall implementieren:
1. Der Benutzer lädt manuell eine Datei in einen Amazon Simple Storage Service (Amazon S3) -Bucket hoch, z. B. eine Microsoft Excel-Datei oder ein PDF-Dokument. (Weitere Informationen zu den unterstützten Dateitypen finden Sie in der Dokumentation [Unstructured](https://docs.unstructured.io/open-source/core-functionality/partitioning).)
1. Der Inhalt der Datei wird extrahiert und in eine Wissensdatenbank eingebettet, die auf dem serverlosen Aurora PostgreSQL-kompatiblen System basiert und die Aufnahme von Dokumenten in den Vector Store nahezu in Echtzeit unterstützt. Dieser Ansatz ermöglicht es dem RAG-Modell, auf relevante Informationen für Anwendungsfälle zuzugreifen und diese abzurufen, bei denen es auf niedrige Latenzen ankommt.
1. Wenn der Benutzer mit dem Textgenerierungsmodell interagiert, verbessert es die Interaktion, indem relevante Inhalte aus den zuvor hochgeladenen Dateien abgerufen und erweitert werden.
Das Muster verwendet [Amazon Titan Text Embeddings v2](https://docs.aws.amazon.com/bedrock/latest/userguide/titan-embedding-models.html) als Einbettungsmodell und [Anthropic Claude 3 Sonnet](https://aws.amazon.com/bedrock/claude/) als Textgenerierungsmodell, beide auf Amazon Bedrock verfügbar.
## Voraussetzungen und Einschränkungen
**Voraussetzungen**
+ Ein aktiver. AWS-Konto
+ AWS Command Line Interface (AWS CLI) installiert und konfiguriert mit Ihrem AWS-Konto. Installationsanweisungen finden [Sie AWS CLI in der AWS CLI Dokumentation unter Installation oder Aktualisierung auf die neueste Version von](https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2.html). Informationen zur Überprüfung Ihrer AWS Anmeldeinformationen und Ihres Zugriffs auf Ihr Konto finden Sie in der AWS CLI Dokumentation unter [Konfiguration und Einstellungen der Anmeldeinformationsdatei](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html).
+ Modellzugriff, der für die erforderlichen großen Sprachmodelle (LLMs) in der Amazon Bedrock-Konsole Ihres AWS-Konto aktiviert ist. Für dieses Muster ist Folgendes LLMs erforderlich:
+ `amazon.titan-embed-text-v2:0`
+ `anthropic.claude-3-sonnet-20240229-v1:0`
**Einschränkungen**
+ Diese Beispielarchitektur enthält keine Schnittstelle für die programmatische Beantwortung von Fragen mit der Vektordatenbank. Wenn Ihr Anwendungsfall eine API erfordert, sollten Sie erwägen, [Amazon API Gateway](https://docs.aws.amazon.com/apigateway/latest/developerguide) mit einer AWS Lambda Funktion hinzuzufügen, die Abruf- und Fragenbeantwortungsaufgaben ausführt.
+ Diese Beispielarchitektur beinhaltet keine Überwachungsfunktionen für die bereitgestellte Infrastruktur. Wenn Ihr Anwendungsfall eine Überwachung erfordert, sollten Sie das Hinzufügen von [AWS Überwachungsdiensten](https://docs.aws.amazon.com/prescriptive-guidance/latest/implementing-logging-monitoring-cloudwatch/welcome.html) in Betracht ziehen.
+ Wenn Sie viele Dokumente in einem kurzen Zeitraum in den Amazon S3 S3-Bucket hochladen, kann es bei der Lambda-Funktion zu Ratenbegrenzungen kommen. Als Lösung können Sie die Lambda-Funktion von einer Amazon Simple Queue Service (Amazon SQS) -Warteschlange entkoppeln, in der Sie die Geschwindigkeit der Lambda-Aufrufe steuern können.
+ Einige sind nicht in allen verfügbar. AWS-Services AWS-Regionen Informationen zur Verfügbarkeit in den einzelnen Regionen finden Sie [AWS-Services unter Nach Regionen](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/). Informationen zu bestimmten Endpunkten finden Sie unter [Dienstendpunkte und Kontingente](https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html). Wählen Sie dort den Link für den Dienst aus.
**Produktversionen**
+ [AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) Version 2 oder höher
+ [Docker-Version](https://docs.docker.com/get-started/) 26.0.0 oder höher
+ [Poesie-Version](https://pypi.org/project/poetry/) 1.7.1 oder höher
+ [Python-Version](https://www.python.org/downloads/) 3.10 oder höher
+ [Terraform](https://developer.hashicorp.com/terraform/install) Version 1.8.4 oder höher
## Architektur
Das folgende Diagramm zeigt den Workflow und die Architekturkomponenten für dieses Muster.
Dieses Diagramm veranschaulicht Folgendes:
1. Wenn ein Objekt im Amazon S3 S3-Bucket erstellt wird`bedrock-rag-template-`, ruft eine [Amazon S3 S3-Benachrichtigung](https://docs.aws.amazon.com/AmazonS3/latest/userguide/EventNotifications.html) die Lambda-Funktion auf. `data-ingestion-processor`
1. Die Lambda-Funktion `data-ingestion-processor` basiert auf einem Docker-Image, das im Amazon Elastic Container Registry (Amazon ECR) -Repository gespeichert ist. `bedrock-rag-template`
[Die Funktion verwendet [LangChain S3](https://python.langchain.com/v0.1/docs/integrations/document_loaders/aws_s3_file/), FileLoader um die Datei als Dokument zu lesen. LangChain ](https://api.python.langchain.com/en/v0.0.339/schema/langchain.schema.document.Document.html) Dann werden die [LangChain RecursiveCharacterTextSplitter](https://python.langchain.com/v0.1/docs/modules/data_connection/document_transformers/recursive_text_splitter/)Chunks jedes Dokument mit a `CHUNK_SIZE` und a versehen, `CHUNK_OVERLAP` die von der maximalen Token-Größe des Amazon Titan Text Embedding V2-Einbettungsmodells abhängen. Als Nächstes ruft die Lambda-Funktion das Einbettungsmodell auf Amazon Bedrock auf, um die Chunks in numerische Vektordarstellungen einzubetten. Schließlich werden diese Vektoren in der Aurora PostgreSQL-Datenbank gespeichert. Um auf die Datenbank zuzugreifen, ruft die Lambda-Funktion zunächst den Benutzernamen und das Passwort von ab. AWS Secrets Manager
1. Auf der Amazon SageMaker [AI-Notebook-Instance](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html) `aws-sample-bedrock-rag-template` kann der Benutzer eine Fragenaufforderung schreiben. Der Code ruft Claude 3 auf Amazon Bedrock auf und fügt die Wissensdatenbankinformationen dem Kontext der Aufforderung hinzu. Infolgedessen gibt Claude 3 Antworten unter Verwendung der Informationen in den Dokumenten.
Der Ansatz dieses Musters in Bezug auf Netzwerk und Sicherheit lautet wie folgt:
+ Die Lambda-Funktion `data-ingestion-processor` befindet sich in einem privaten Subnetz innerhalb der Virtual Private Cloud (VPC). Die Lambda-Funktion darf aufgrund ihrer Sicherheitsgruppe keinen Datenverkehr an das öffentliche Internet senden. Daher wird der Datenverkehr zu Amazon S3 und Amazon Bedrock nur über die VPC-Endpunkte geleitet. Folglich durchquert der Datenverkehr nicht das öffentliche Internet, was die Latenz reduziert und eine zusätzliche Sicherheitsebene auf Netzwerkebene bietet.
+ Alle Ressourcen und Daten werden, wann immer möglich, verschlüsselt, indem der Schlüssel AWS Key Management Service (AWS KMS) zusammen mit dem Alias `aws-sample/bedrock-rag-template` verwendet wird.
**Automatisierung und Skalierung**
Dieses Muster verwendet Terraform, um die Infrastruktur aus dem Code-Repository in einem bereitzustellen. AWS-Konto
## Tools
**AWS-Services**
+ [Amazon Aurora PostgreSQL-Compatible Edition](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraPostgreSQL.html) ist eine vollständig verwaltete, ACID-konforme relationale Datenbank-Engine, die Sie bei der Einrichtung, dem Betrieb und der Skalierung von PostgreSQL-Bereitstellungen unterstützt. In diesem Muster verwendet Aurora PostgreSQL-kompatibel das pgvector-Plugin als Vektordatenbank.
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) ist ein vollständig verwalteter Service, der Ihnen leistungsstarke Basismodelle (FMs) von führenden KI-Startups und Amazon über eine einheitliche API zur Verfügung stellt.
+ [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) ist ein Open-Source-Tool, mit dem Sie AWS-Services über Befehle in Ihrer Befehlszeilen-Shell interagieren können.
+ [Amazon Elastic Container Registry (Amazon ECR)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html) ist ein verwalteter Container-Image-Registry-Service, der sicher, skalierbar und zuverlässig ist. In diesem Muster hostet Amazon ECR das Docker-Image für die `data-ingestion-processor` Lambda-Funktion.
+ [AWS Identity and Access Management (IAM)](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html) hilft Ihnen dabei, den Zugriff auf Ihre AWS Ressourcen sicher zu verwalten, indem kontrolliert wird, wer authentifiziert und autorisiert ist, diese zu verwenden.
+ [AWS Key Management Service (AWS KMS)](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html) hilft Ihnen dabei, kryptografische Schlüssel zu erstellen und zu kontrollieren, um Ihre Daten zu schützen.
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) ist ein Datenverarbeitungsservice, mit dem Sie Code ausführen können, ohne dass Sie Server bereitstellen oder verwalten müssen. Es führt Ihren Code nur bei Bedarf aus und skaliert automatisch, sodass Sie nur für die tatsächlich genutzte Rechenzeit zahlen. In diesem Muster nimmt Lambda Daten in den Vektorspeicher auf.
+ [Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/?id=docs_gateway) ist ein verwalteter Service für maschinelles Lernen (ML), mit dem Sie ML-Modelle erstellen und trainieren und diese dann in einer produktionsbereiten, gehosteten Umgebung bereitstellen können.
+ Mit [AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/intro.html) können Sie fest codierte Anmeldeinformationen im Code (einschließlich Passwörter) durch einen API-Aufruf an Secrets Manager ersetzen und das Geheimnis programmgesteuert abrufen.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.
+ [Amazon Virtual Private Cloud (Amazon VPC)](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html) hilft Ihnen dabei, AWS Ressourcen in einem von Ihnen definierten virtuellen Netzwerk bereitzustellen. Dieses virtuelle Netzwerk entspricht einem herkömmlichen Netzwerk, wie Sie es in Ihrem Rechenzentrum betreiben würden, mit den Vorteilen der Verwendung der skalierbaren Infrastruktur von AWS. Die VPC umfasst Subnetze und Routingtabellen zur Steuerung des Datenverkehrs.
**Andere Tools**
+ [Docker](https://docs.docker.com/manuals/) ist eine Reihe von Platform-as-a-Service (PaaS) -Produkten, die Virtualisierung auf Betriebssystemebene nutzen, um Software in Containern bereitzustellen.
+ [HashiCorp Terraform](https://www.terraform.io/docs) ist ein Infrastructure-as-Code-Tool (IaC), mit dem Sie mithilfe von Code Cloud-Infrastruktur und -Ressourcen bereitstellen und verwalten können.
+ [Poetry](https://pypi.org/project/poetry/) ist ein Tool für Abhängigkeitsmanagement und Paketierung in Python.
+ [Python](https://www.python.org/) ist eine Allzweck-Computerprogrammiersprache.
**Code-Repository**
Der Code für dieses Muster ist im Repository GitHub [terraform-rag-template-using-amazon-bedrock](https://github.com/aws-samples/terraform-rag-template-using-amazon-bedrock) verfügbar.
## Best Practices
+ Dieses Codebeispiel kann zwar in allen Bereichen eingesetzt werden AWS-Region, wir empfehlen jedoch, dass Sie US East (Nord-Virginia) — `us-east-1` oder US West (Nordkalifornien) — verwenden. `us-west-1` Diese Empfehlung basiert auf der Verfügbarkeit von Fundament- und Einbettungsmodellen in Amazon Bedrock zum Zeitpunkt der Veröffentlichung dieses Musters. Eine up-to-date Liste der Amazon Bedrock Foundation-Modellunterstützung finden Sie unter [Model Support von AWS-Region](https://docs.aws.amazon.com/bedrock/latest/userguide/models-regions.html) in der Amazon Bedrock-Dokumentation. AWS-Regionen Informationen zur Bereitstellung dieses Codebeispiels in anderen Regionen finden Sie unter [Zusätzliche](#deploy-rag-use-case-on-aws-additional) Informationen.
+ Dieses Muster bietet nur eine proof-of-concept (PoC) oder Pilotdemo. Wenn Sie den Code für die Produktion verwenden möchten, sollten Sie unbedingt die folgenden bewährten Methoden anwenden:
+ Aktivieren Sie die Serverzugriffsprotokollierung für Amazon S3.
+ Richten Sie die [Überwachung und Warnung](https://docs.aws.amazon.com/lambda/latest/dg/lambda-monitoring.html) für die Lambda-Funktion ein.
+ Wenn Ihr Anwendungsfall eine API erfordert, sollten Sie erwägen, Amazon API Gateway mit einer Lambda-Funktion hinzuzufügen, die Abruf- und Fragenbeantwortungsaufgaben ausführt.
+ Folgen Sie dem Prinzip der geringsten Rechte und gewähren Sie die für die Ausführung einer Aufgabe erforderlichen Mindestberechtigungen. Weitere Informationen finden Sie in der IAM-Dokumentation unter [Gewährung der geringsten Rechte](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies.html#grant-least-priv) und [bewährte Methoden zur Sicherheit](https://docs.aws.amazon.com/IAM/latest/UserGuide/IAMBestPracticesAndUseCases.html).
## Epen
### Stellen Sie die Lösung in einem bereit AWS-Konto
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Klonen Sie das Repository | Verwenden Sie den folgenden Befehl, um das mit diesem Muster bereitgestellte GitHub Repository zu klonen:git clone https://github.com/aws-samples/terraform-rag-template-using-amazon-bedrock
| AWS DevOps |
| Konfigurieren Sie die Variablen. | Gehen Sie wie folgt vor, um die Parameter für dieses Muster zu konfigurieren:[See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html) | AWS DevOps |
| Stellen Sie die Lösung bereit. | Gehen Sie wie folgt vor, um die Lösung bereitzustellen:[See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html)
Die Infrastrukturbereitstellung stellt eine SageMaker KI-Instanz innerhalb der VPC bereit und verfügt über die Berechtigungen für den Zugriff auf die Aurora PostgreSQL-Datenbank. | AWS DevOps |
### Testen der Lösung
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Führen Sie die Demo aus. | Nachdem die vorherige Infrastrukturbereitstellung erfolgreich war, führen Sie die folgenden Schritte aus, um die Demo in einem Jupyter-Notebook auszuführen:[See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html)
Das Jupyter-Notizbuch führt Sie durch den folgenden Prozess:[See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html) | Allgemeines AWS |
### Infrastruktur aufräumen
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Säubere die Infrastruktur. | Verwenden Sie den folgenden Befehl, um alle Ressourcen zu entfernen, die Sie erstellt haben, als sie nicht mehr benötigt werden:terraform destroy -var-file=commons.tfvars
| AWS DevOps |
## Zugehörige Ressourcen
**AWS Ressourcen**
+ [Lambda-Funktionen mit Python erstellen](https://docs.aws.amazon.com/lambda/latest/dg/lambda-python.html)
+ [Inferenzparameter für Fundamentmodelle](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters.html)
+ [Zugriff auf Amazon Bedrock Foundation-Modelle](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html)
+ [Die Rolle von Vektordatenbanken in generativen KI-Anwendungen](https://aws.amazon.com/blogs/database/the-role-of-vector-datastores-in-generative-ai-applications/) (AWS Datenbank-Blog)
+ [Arbeiten mit Amazon Aurora PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraPostgreSQL.html)
**Sonstige Ressourcen**
+ [pgvector-Dokumentation](https://github.com/pgvector/pgvector)
## Zusätzliche Informationen
**Implementierung einer Vektor-Datenbank**
Dieses Muster verwendet Aurora PostgreSQL-kompatibel, um eine Vektordatenbank für RAG zu implementieren. Als Alternative zu Aurora PostgreSQL AWS bietet es weitere Funktionen und Dienste für RAG, wie Amazon Bedrock Knowledge Bases und Amazon Service. OpenSearch Sie können die Lösung wählen, die Ihren spezifischen Anforderungen am besten entspricht:
+ [Amazon OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/what-is.html) bietet verteilte Such- und Analyse-Engines, mit denen Sie große Datenmengen speichern und abfragen können.
+ [Amazon Bedrock Knowledge Bases](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html) wurde für den Aufbau und die Bereitstellung von Wissensdatenbanken als zusätzliche Abstraktion entwickelt, um den RAG-Aufnahme- und Abrufprozess zu vereinfachen. Amazon Bedrock Knowledge Bases kann sowohl mit Aurora PostgreSQL als auch mit Amazon Service verwendet werden. OpenSearch
**Bereitstellung auf anderen AWS-Regionen**
Wie unter [Architektur](#deploy-rag-use-case-on-aws-architecture) beschrieben, empfehlen wir, für die Bereitstellung dieses Codebeispiels entweder die Region USA Ost (Nord-Virginia) `us-east-1` oder USA West (Nordkalifornien) `us-west-1` zu verwenden. Es gibt jedoch zwei Möglichkeiten, dieses Codebeispiel in anderen Regionen als `us-east-1` und bereitzustellen`us-west-1`. Sie können die Bereitstellungsregion in der `commons.tfvars` Datei konfigurieren. Für den regionsübergreifenden Zugriff auf das Foundation-Modell sollten Sie die folgenden Optionen in Betracht ziehen:
+ **Durchqueren des öffentlichen Internets** — Wenn der Datenverkehr das öffentliche Internet durchqueren kann, fügen Sie der VPC Internet-Gateways hinzu. Passen Sie dann die Sicherheitsgruppe an, die der Lambda-Funktion `data-ingestion-processor` und der SageMaker AI-Notebook-Instanz zugewiesen ist, um ausgehenden Datenverkehr in das öffentliche Internet zuzulassen.
+ **Kein Durchqueren des öffentlichen Internets — Gehen** Sie wie folgt vor, um dieses Beispiel in einer anderen Region als `us-east-1` oder `us-west-1` bereitzustellen:
1. Erstellen Sie entweder in der `us-west-1` Region `us-east-1` oder eine zusätzliche VPC, einschließlich eines VPC-Endpunkts für. `bedrock-runtime`
1. Stellen Sie mithilfe von [VPC-Peering oder einem [Transit-Gateway](https://docs.aws.amazon.com/vpc/latest/tgw/tgw-peering.html) eine Peering-Verbindung zur Anwendungs-VPC](https://docs.aws.amazon.com/vpc/latest/peering/what-is-vpc-peering.html) her.
1. Wenn Sie den `bedrock-runtime` boto3-Client in einer beliebigen Lambda-Funktion außerhalb von `us-east-1` oder konfigurieren`us-west-1`, übergeben Sie den privaten DNS-Namen des VPC-Endpunkts für `bedrock-runtime` in `us-east-1` oder us-west-1 als den an den boto3-Client. `endpoint_url`