En aprendizaje automático, las métricas de rendimiento nos indican si el modelo acertó, pero no si está seguro de su resultado.

Por ejemplo, imaginemos un clasificador entrenado para predecir si llueve (clase 1) o no (clase 0) dadas la temperatura y la humedad de ese día. Su rendimiento es impresionante, digamos que su exactitud es >95% en validación y prueba. Ahora bien, si la predicción para un nuevo día es ‘0.8’, muchos libros, cursos, ... concluyen que "hay un 80% de probabilidades de que llueva ese día". Sin embargo, esa puntuación bruta sólo pasó por una normalización que la acotó entre 0 y 1 para que todas las puntuaciones posibles sumen 1, pero no se calibró con el número de días que realmente llovió, por lo tanto no es una probabilidad real. Y desde luego no es ni más ni menos "fiable" que una predicción del ‘0.5’.

Pero la cosa empeora, ¿qué pasa si le pedimos al modelo una predicción en la que la entrada es la temperatura y la humedad de un día en el planeta Venus? Como el modelo no tiene forma de decirnos «no tengo ni idea de qué es esto», se limitará a producir una predicción sesgada, y se quedará tan pancho.

Podemos evitar ambos problemas con la Predicción Conforme: nos calibra las predicciones para que sean probabilidades verdaderas y, de paso, alrededor de cada predicción puntual obtenemos intervalos de predicción que, con garantía matemática, incluyen el valor verdadero. Cuanto más estrechos son los intervalos, mayor es la confianza en la predicción.

La Predicción Conforme es post-hoc (no es necesario reentrenar el modelo), model-agnostic (sirve para cualquier modelo y tarea: clasificación, regresión, series temporales, RAG, PINN, GNN, RL, XAI,..), es distribution-free (no hay suposiciones paramétricas) y muy ligera (se implementa con pocas líneas de código, ya hay muchos paquetes de Python desarrollados, y se ejecuta muy rápido). Los materiales e instrucciones se encuentran en este repositorio: https://github.com/MMdeCastro/Uncertainty_Quantification_XAI.
Slides: https://shorturl.at/Oe1Ph
Outline:
1. Por qué las métricas de rendimiento no son suficientes.
2. Por qué las predicciones no son probabilidades.
3. Cómo funciona la Predicción Conforme.
3.1 Orígenes.
3.2 Qué es la Predicción Conforme.
3.3 Cómo funciona la Predicción Conforme.
3.4 La medida de No Conformidad.
3.5 La validez o Garantía de Cobertura.
3.6 Cómo evaluar la Predicción Conforme.