¿Qué significa "Proceso de Evaluación"?
Tabla de contenidos
El proceso de evaluación es cómo checamos el rendimiento de los modelos de lenguaje. Queremos ver qué tan bien pueden hacer diferentes tareas, como planear viajes o dar respuestas útiles en conversaciones.
Tipos de Evaluación
-
Referencias: Son conjuntos de tareas diseñadas para medir las habilidades de los modelos. Por ejemplo, podríamos crear escenarios donde el modelo tenga que planear un viaje usando información de sitios de viajes.
-
Tasa de Éxito: Esto nos dice cuántas veces un modelo da la respuesta correcta. Por ejemplo, si le pedimos a un modelo que programe una reunión y acierta 30 de 100 veces, su tasa de éxito es del 30%.
-
Niveles de Complejidad: Probamos los modelos con diferentes niveles de dificultad. Por ejemplo, podríamos empezar con planear un viaje a una ciudad y luego hacerlo más difícil pidiéndole que planee para diez ciudades.
Retroalimentación y Mejoras
Durante la evaluación, también buscamos áreas donde los modelos tienen problemas. Esto nos ayuda a entender qué cambios se necesitan para hacerlos mejores. Por ejemplo, si un modelo le va mal al hacer planes complejos, podríamos intentar nuevas formas de entrenarlo.
Revisión Humana
A veces, pedimos a personas que revisen las respuestas de los modelos. Esto ayuda a confirmar si las respuestas del modelo tienen sentido y son útiles. Luego usamos esta retroalimentación para mejorar cómo funcionan los modelos.
En resumen, el proceso de evaluación se trata de probar, aprender y hacer que los modelos de lenguaje sean mejores en entender y responder a las necesidades humanas.