Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Optimice y migre las solicitudes en Amazon Bedrock
Amazon Bedrock ofrece una optimización rápida, una herramienta de migración y optimización de modelos que le ayuda a obtener el mejor rendimiento de los modelos básicos. Amazon Bedrock ofrece dos opciones de optimización rápida.
-
La optimización simple realiza una reescritura heurística rápida de una única solicitud corta para un modelo.
-
La optimización avanzada de solicitudes (AdvPO) le permite optimizar las indicaciones para cualquier modelo de Bedrock y, al mismo tiempo, comparar las indicaciones originales con las instrucciones optimizadas de hasta 5 modelos simultáneamente.
Puede usarlo si está migrando a un nuevo modelo o simplemente desea obtener un mejor rendimiento en su modelo actual. Si va a cambiar de modelo, seleccione su modelo actual como base y hasta 4 modelos más. Si no va a cambiar de modelo, simplemente seleccione el modelo actual para ver el antes y el después de la optimización. El optimizador toma las plantillas de solicitudes (hasta 10 por trabajo) y, a modo de ejemplo, las entradas del usuario para valores variables (hasta 100 por plantilla de solicitud). También requiere respuestas basadas en la verdad básica y una métrica de evaluación que sirva de guía para la optimización. Incluso es compatible con entradas multimodales como jpeg, png o PDF. Puede proporcionar una LLM-as-a-judge rúbrica, una función Lambda o criterios de orientación breves en lenguaje natural. La evaluación orienta la optimización rápida. El optimizador funciona en un circuito de retroalimentación basado en la evaluación para optimizar las respuestas rápidas y resultantes del modelo. Genera las plantillas de solicitudes originales y finales con las puntuaciones de las evaluaciones, las estimaciones de costes y la latencia.
Elija un método de optimización
| Optimización sencilla | Optimización rápida avanzada | |
|---|---|---|
| Caso de uso | Reescritura básica de un solo mensaje para mensajes cortos | Optimización flexible e iterativa en la que la evaluación orienta la reescritura rápida para migrar los modelos y ajustar el rendimiento |
| Lo mejor para | Indicaciones breves (aproximadamente 1000 fichas o menos) | Plantillas de solicitudes de cualquier longitud que quepan en la ventana de contexto del modelo |
| Entrada | Texto de solicitud único | Hasta 10 plantillas de solicitudes con muestras de evaluación, incluidas las multimodales |
| Modelos de | 1 modelo | Hasta 5 modelos comparados simultáneamente |
| Evaluación | Ninguno (reescritura heurística) | Su elección: criterios de dirección, LLM-as-judge rúbrica o función Lambda personalizada |
| Salida | Mensaje reescrito (instantáneo) | Plantillas optimizadas con puntuaciones de evaluación, estimaciones de costes y latencia por modelo |
| Execution | Sincrónico (segundos) | Trabajo asíncrono (de 15 minutos a horas, según la cantidad de plantillas de solicitudes y muestras de evaluación) |
| Multimodal | No | Sí (imágenes, archivos PDF) |
| Migración de modelos | Parcial: puede reescribir las instrucciones, pero no puede compararlas una al lado de la otra | Sí, compare el modelo actual con los candidatos uno al lado del otro |
