BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.com//pycones-2024//talk//HSWECW
BEGIN:VTIMEZONE
TZID:Europe/Madrid
BEGIN:DAYLIGHT
DTSTART:20231005T000000
TZNAME:CEST
TZOFFSETFROM:+0200
TZOFFSETTO:+0200
END:DAYLIGHT
BEGIN:STANDARD
DTSTART:20231029T030000
RDATE:20241027T030000
TZNAME:CET
TZOFFSETFROM:+0200
TZOFFSETTO:+0100
END:STANDARD
BEGIN:DAYLIGHT
DTSTART:20240331T030000
RDATE:20250330T030000
TZNAME:CEST
TZOFFSETFROM:+0100
TZOFFSETTO:+0200
END:DAYLIGHT
END:VTIMEZONE
BEGIN:VEVENT
SUMMARY:Predicción Conforme: el fin de la predicción puntual descalibrad
 a - Maria Moreno de Castro
DTSTART;TZID=Europe/Madrid:20241004T180000
DTEND;TZID=Europe/Madrid:20241004T193000
DTSTAMP:20260819T000730Z
UID:pretalx-pycones-2024-HSWECW@pretalx.com
DESCRIPTION:En aprendizaje automático\, las métricas de rendimiento nos 
 indican si el modelo acertó\, pero no si está seguro de su resultado. \n
 \nPor ejemplo\, imaginemos un clasificador entrenado para predecir si llue
 ve (clase 1) o no (clase 0) dadas la temperatura y la humedad de ese día.
  Su rendimiento es impresionante\, digamos que su exactitud es >95% en val
 idación y prueba. Ahora bien\, si la predicción para un nuevo día es 
 ‘0.8’\, muchos libros\, cursos\, ... concluyen que "hay un 80% de prob
 abilidades de que llueva ese día". Sin embargo\, esa puntuación bruta s
 ólo pasó por una normalización que la acotó entre 0 y 1 para que todas
  las puntuaciones  posibles sumen 1\, pero no se calibró con el número d
 e días que realmente llovió\, por lo tanto no es una probabilidad real. 
 Y desde luego no es ni más ni menos "fiable" que una predicción del ‘0
 .5’. \n\nPero la cosa empeora\, ¿qué pasa si le pedimos al modelo una 
 predicción en la que la entrada es la temperatura y la humedad de un día
  en el planeta Venus? Como el modelo no tiene forma de decirnos «no tengo
  ni idea de qué es esto»\, se limitará a producir una predicción sesga
 da\, y se quedará tan pancho. \n\nPodemos evitar ambos problemas con la P
 redicción Conforme: nos calibra las predicciones para que sean probabilid
 ades verdaderas y\, de paso\, alrededor de cada predicción puntual obtene
 mos intervalos de predicción que\, con garantía matemática\, incluyen e
 l valor verdadero. Cuanto más estrechos son los intervalos\, mayor es la 
 confianza en la predicción. \n\nLa Predicción Conforme es post-hoc (no e
 s necesario reentrenar el modelo)\, model-agnostic (sirve para cualquier m
 odelo y tarea: clasificación\, regresión\, series temporales\, RAG\, PIN
 N\, GNN\, RL\, XAI\,..)\, es distribution-free (no hay suposiciones param
 étricas) y muy ligera (se implementa con pocas líneas de código\, ya ha
 y muchos paquetes de Python desarrollados\, y se ejecuta muy rápido). Los
  materiales e instrucciones se encuentran en este repositorio: https://git
 hub.com/MMdeCastro/Uncertainty_Quantification_XAI. \nSlides: https://short
 url.at/Oe1Ph\nOutline:\n1. Por qué las métricas de rendimiento no son su
 ficientes.\n2. Por qué las predicciones no son probabilidades.\n3. Cómo 
 funciona la Predicción Conforme.\n3.1 Orígenes.\n3.2 Qué es la Predicci
 ón Conforme.\n3.3 Cómo funciona la Predicción Conforme.\n3.4 La medida 
 de No Conformidad.\n3.5 La validez o Garantía de Cobertura.\n3.6 Cómo ev
 aluar la Predicción Conforme.
LOCATION:Poalla
URL:https://pretalx.com/pycones-2024/talk/HSWECW/
END:VEVENT
END:VCALENDAR