Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de un perfil de inferencia en la invocación del modelo
Puede utilizar un perfil de inferencia entre regiones en lugar de un modelo fundacional para enrutar las solicitudes a varias regiones. Para realizar un seguimiento de los costos y el uso de un modelo, en una o varias regiones, puede utilizar un perfil de inferencia de aplicaciones. Para obtener más información sobre cómo usar un perfil de inferencia al ejecutar la inferencia del modelo, seleccione la pestaña correspondiente al método que prefiera y siga los pasos:
- Console
-
Para usar un perfil de inferencia con una característica que lo admita, haga lo siguiente:
-
Inicie sesión Consola de administración de AWS con una identidad de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola Amazon Bedrock en https://console.aws.amazon.com/bedrock
. -
Desplácese hasta la página de la característica para la que desee usar un perfil de inferencia. Por ejemplo, seleccione Sitio de pruebas de chat/texto en el panel de navegación izquierdo.
-
Elija Seleccionar modelo y, a continuación, elija el modelo. Por ejemplo, elija Amazon y, a continuación, Nova Premier.
-
En Inferencia, seleccione Perfiles de inferencia en el menú desplegable.
-
Seleccione el perfil de inferencia que desee utilizar (por ejemplo, US Nova Premier) y, a continuación, elija Aplicar.
-
- API
-
Para usar un perfil de inferencia al ejecutar la inferencia desde cualquier región que incluya, utilice las siguientes operaciones de la API:
-
InvokeModelo InvokeModelWithResponseStream— Para utilizar un perfil de inferencia en la invocación de modelos, siga los pasos que se indican en Envíe un único mensaje con InvokeModel y especifique el nombre de recurso de Amazon (ARN) del perfil de inferencia en el campo.
modelIdPara ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
Converse o ConverseStream: para usar un perfil de inferencia en la invocación de modelos con la Converse API, siga los pasos que se indican en Inferencia mediante la API de Converse y especifique el ARN del perfil de inferencia en el campo.
modelIdPara ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
RetrieveAndGenerate: para utilizar un perfil de inferencia al generar respuestas a partir de los resultados de una consulta a una base de conocimiento, siga los pasos de la pestaña API en Prueba de la base de conocimientos mediante consultas y respuestas y especifique el ARN del perfil de inferencia en el campo
modelArn. Para obtener más información, consulte Use an inference proflie to generate a response bedrock/latest/api_reference. -
CreateEvaluationJob— Para enviar un perfil de inferencia para la evaluación del modelo, siga los pasos de la pestaña API Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock y especifique el ARN del perfil de inferencia en el campo.
modelIdentifier -
CreatePrompt— Para usar un perfil de inferencia al generar una respuesta para una solicitud que cree en la administración de solicitudes, siga los pasos de la pestaña API Creación de una petición con la administración de peticiones y especifique el ARN del perfil de inferencia en el campo.
modelId -
CreateFlow— Para usar un perfil de inferencia al generar una respuesta para una solicitud en línea que se defina dentro de un nodo de solicitud de un flujo, siga los pasos que se indican en la pestaña API de. Creación y diseño de un flujo en Amazon Bedrock Al definir el nodo de petición, especifique el ARN del perfil de inferencia en el campo
modelId. -
CreateDataSource— Para utilizar un perfil de inferencia al analizar información no textual en una fuente de datos, siga los pasos de la sección API y Opciones de análisis del origen de datos especifique el ARN del perfil de inferencia en el campo.
modelArn
nota
Si utiliza un perfil de inferencia entre regiones (definido por el sistema), puede utilizar el ARN o el ID del perfil de inferencia.
-
