Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Clasificación de textos para la evaluación del modelo en Amazon Bedrock
Para clasificar texto en categorías predefinidas, se utiliza la clasificación de texto. Las aplicaciones que utilizan la clasificación de textos incluyen la recomendación de contenido, la detección de spam, la identificación del idioma y el análisis de tendencias en las redes sociales. Las clases desequilibradas, los datos ambiguos, los datos ruidosos y los sesgos en el etiquetado son algunos de los problemas que pueden provocar errores en la clasificación del texto.
importante
En lo que respecta a la clasificación de texto, existe un problema conocido en el sistema que impide que los modelos Cohere completen correctamente la evaluación de toxicidad.
Se recomienda utilizar los siguientes conjuntos de datos integrados con el tipo de tarea de clasificación de texto.
- Reseñas de E-Commerce ropa de mujer
-
Las reseñas de E-Commerce ropa femenina son un conjunto de datos que contiene reseñas de ropa escritas por clientes. Este conjunto de datos se utiliza en tareas de clasificación de textos.
La siguiente tabla resume las métricas calculadas y los conjuntos de datos integrados recomendados. Para especificar correctamente los conjuntos de datos integrados disponibles mediante el SDK o un AWS SDK compatible AWS CLI, utilice los nombres de los parámetros de la columna Built-in conjuntos de datos (API).
| Tipo de tarea | Métrica | Built-in conjuntos de datos (consola) | Built-in conjuntos de datos (API) | Métrica computada |
|---|---|---|---|---|
| Clasificación de textos | Exactitud | Women's Ecommerce Clothing Reviews |
Builtin.WomensEcommerceClothingBoolQ |
Precisión (precisión binaria de classification_accuracy_score) |
| Robustez | Women's Ecommerce Clothing Reviews |
Builtin.WomensEcommerceClothingBoolQ |
classification_accuracy_score y delta_classification_accuracy_score |
Para obtener más información sobre cómo se calcula la métrica computada para cada conjunto de datos integrado, consulte Revisión de los informes y las métricas de los trabajos de evaluación de modelos en Amazon Bedrock
