Evaluar un sistema RAG

Mide tu sistema RAG con datos y no con impresiones. Arma un conjunto de preguntas con respuestas esperadas, calcula recall@k y MRR para la recuperación, revisa datos clave y fidelidad en la generación, y usa un modelo como juez sin olvidar sus límites.

Mariana le mostró el asistente al Consejo de Administración. El presidente hizo tres preguntas, las tres salieron bien y dijo: "Ya está, publíquenlo". La tesorera hizo una cuarta, sobre intereses de anticipos, y el asistente mezcló el 1 por ciento de los préstamos con los anticipos. Silencio en la sala. Tres de cuatro no es un dato: es una anécdota. Antes de publicar, Mariana necesita saber qué tan seguido acierta el asistente, en qué tipo de preguntas falla y si un cambio (otro tamaño de fragmento, otro modelo, reordenar o no) lo mejora o lo empeora.

Qué verás en esta lección

1. Evalúa las dos mitades por separado
2. El conjunto de evaluación
3. Métricas de recuperación: recall@k y MRR
4. Comparar configuraciones
5. Evaluar la generación
6. 1. Datos clave
7. 2. Citas
8. 3. Fidelidad con un modelo como juez
9. Un registro para decidir
10. Práctica
11. Resumen
12. Quiz