View a markdown version of this page

Speichern und Abrufen von Konversationsverlauf und Kontext mit APIs für die Sitzungsverwaltung - Amazon Bedrock
Beispiel für einen AnwendungsfallWorkflowÜberlegungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Speichern und Abrufen von Konversationsverlauf und Kontext mit APIs für die Sitzungsverwaltung

Anmerkung

Die APIs für die Sitzungsverwaltung befinden sich in der Vorversion und können geändert werden.

Mit den Session-Management-APIs können Sie Checkpoints für laufende Konversationen in generativen KI-Anwendungen speichern, die mit Open-Source-Frameworks wie LangGraph und erstellt wurden. LlamaIndex Sie können die APIs verwenden, um Status und Konversationskontext in mehrstufigen Workflows mit generativer KI sicher zu verwalten. Sie müssen keine benutzerdefinierten Back-End-Lösungen für die Beständigkeit von Status und Kontext erstellen, warten oder skalieren.

APIs für die Sitzungsverwaltung bieten Ihnen folgende Möglichkeiten:

  • Checkpoint-Workflow-Phasen für iteratives Testen und Human-in-the-Loop-Workflows.

  • Nehmen Sie Konversationen und Aufgaben an dem Punkt wieder auf, an dem sie unterbrochen wurden.

  • Überprüfen Sie die Sitzungsprotokolle, um Workflow-Phasen zu analysieren und Fehler zu beheben.

Da Sitzungen eine Ressource in Amazon Bedrock sind, können Sie den Zugriff auf die Sitzung mit AWS Identity and Access Management (IAM) steuern. Standardmäßig verwendet Amazon Bedrock AWS-verwaltete Schlüssel für die Sitzungsverschlüsselung, einschließlich Sitzungsmetadaten, oder Sie können Ihren eigenen AWS KMS Schlüssel verwenden. Weitere Informationen finden Sie unter Sitzungsverschlüsselung.

Sie können Amazon Bedrock-Sitzungen mit den Amazon Bedrock-APIs oder AWS -SDKs erstellen und verwalten. Für darauf aufbauende LangGraph Anwendungen können Sie die BedrockSessionSaver Klasse aus der Bibliothek verwenden. langgraph_checkpoint_aws.saver Dies ist eine benutzerdefinierte Implementierung von LangGraph CheckpointSaver. Weitere Informationen finden Sie unter langgraph-checkpoint-aws im Repository. LangChain GitHub

Anmerkung

Sie verwenden eine Sitzung, um den Status und den Konversationsverlauf für Anwendungen mit generativer KI zu speichern, die mit Open-Source-Frameworks erstellt wurden. Für Amazon Bedrock Agents verwaltet der Service automatisch den Konversationskontext und ordnet ihn der agentenspezifischen sessionId zu, die Sie im API-Vorgang angeben. InvokeAgent

Themen

Beispiel für einen Anwendungsfall

Möglicherweise haben Sie eine Anwendung, die einen LangGraph Agenten einsetzt, um Kunden bei der Planung von Reiserouten zu unterstützen. Ein Benutzer kann eine Konversation mit diesem Agenten beginnen, um die Reiseroute für eine bevorstehende Reise zu erstellen und dabei Ziele, bevorzugte Hotels und Flugdetails hinzuzufügen.

Mithilfe von APIs für die Sitzungsverwaltung kann der Agent Zwischenstatus und dauerhaften Kontext für die gesamte erweiterte, mehrstufige Interaktion speichern. Der Agent könnte eine Amazon-Bedrock-Sitzung verwenden, um den Status zu überprüfen, nachdem jedes Ziel hinzugefügt wurde, wobei Details zu den Präferenzen des Kunden erhalten bleiben.

Wenn die Konversation unterbrochen wird oder fehlschlägt, kann der Agent die Sitzung später mit intaktem Kontext, einschließlich Text und Bildern, fortsetzen. Auf diese Weise kann der Agent weitermachen, ohne dass der Kunde die Informationen wiederholen muss. Im Falle eines Fehlers können Sie außerdem die Sitzungsdetails untersuchen, um die Ursache zu beheben.

Workflow

Der Workflow zur Verwendung APIs für die Sitzungsverwaltung sieht wie folgt aus. Informationen zur Nutzung der BedrockSessionSaver Bibliothek finden Sie unterVerwalten Sie Sitzungen mit der BedrockSessionSaver LangGraph Bibliothek.

  • Sitzung erstellen — Wenn Ihr Endbenutzer die Konversation zum ersten Mal startet, erstellen Sie eine Sitzung mit dem CreateSessionAPI-Vorgang und geben eine ID für die Sitzung an. Sie verwenden diese ID, wenn Sie den Konversationsstatus speichern und abrufen.

  • Konversationen und Kontext speichern — Wenn Ihre Endbenutzer mit Ihrem generativen KI-Assistenten interagieren, verwenden Sie die CreateInvocationAPI, um eine Gruppierung von Interaktionen innerhalb der Sitzung zu erstellen. Verwenden Sie für jeden Aufruf die PutInvocationStepAPI-Operationen, um detaillierte Statuskontrollpunkte, einschließlich Text und Bilder, für jede Interaktion zu speichern.

  • Gesprächsverlauf und Kontext abrufen — Verwenden Sie die GetInvocationStepAPI-Operationen GetSession, und ListInvocations, um Sitzungsmetadaten und Interaktionsdetails abzurufen.

  • Sitzung beenden — Wenn die Sitzung abgeschlossen ist, beenden Sie die Sitzung mit dem EndSessionAPI-Vorgang. Nach dem Beenden einer Sitzung können Sie immer noch auf ihren Inhalt zugreifen, aber Sie können keine Inhalte hinzufügen. Um die Sitzung und ihren Inhalt zu löschen, verwenden Sie den DeleteSessionAPI-Vorgang.

Überlegungen

Bevor Sie Sitzungen erstellen und verwalten, beachten Sie Folgendes:

  • Sie können Sitzungen mit den Amazon Bedrock APIs und AWS SDKs erstellen und verwalten. Sie können die AWS Management Console nicht zur Verwaltung von Sitzungen verwenden.

  • Für darauf LangGraph aufbauende Agentenanwendungen können Sie die BedrockSessionSaver Klasse aus der langchain-aws Bibliothek verwenden. Dies ist eine benutzerdefinierte Implementierung von LangGraph CheckpointSaver. Hinweise zur Verwendung der BedrockSessionSaver Bibliothek finden Sie unterVerwalten Sie Sitzungen mit der BedrockSessionSaver LangGraph Bibliothek. Um den Code direkt anzuzeigen, besuchen Sie langgraph-checkpoint-aws im Repository. LangChain GitHub

  • Wenn Sie beim Erstellen einer Sitzung einen vom Kunden verwalteten AWS KMS Schlüssel angeben, muss der Benutzer oder die Rolle, die die Sitzung erstellt, über die Berechtigung zur Verwendung des Schlüssels verfügen. Weitere Informationen finden Sie unter Sitzungsverschlüsselung.

  • Die APIs für die Sitzungsverwaltung verfügen über die folgenden Kontingente:

    • Anzahl der Aufrufschritte in einer Sitzung über alle Aufrufe hinweg – 1 000

    • Maximale Größe jedes Aufrufschritts – 50 MB

    • IdleSession Timeout — 1 Stunde

    • Aufbewahrungsfrist – Sitzungsdaten werden automatisch nach 30 Tagen gelöscht.