Incluir inteligencia artificial es un objetivo prioritario en cualquier proyecto hoy en día. La tecnología cambia con una velocidad asombrosa, y es todo un reto estar al día de los últimos avances. Esto provoca que no tengamos tiempo de volvernos expertos en todos los problemas que puede ocasionar, quizás solo dándonos cuenta cuando los proyectos están ya en funcionamiento.

En esta charla, Vicente Herrera y Alberto Rodriguez demostrarán algunos problemas de seguridad, fiabilidad y sesgos de proyectos que emplan Modelos Grandes de Lenguaje (LLM), cómo medirlos, y cómo mitigarlos, combinando su experiencia en proyectos fintech, colaboración en elaboración de estandards como AI Governance Framework de la FINOS Foundation, y bug hunting para Anthropic.

Nos enseñarán cómo realizar mediciones que nos permitan establecer la situación de estos LLM, utilizando datasets como real-toxicity-prompts o herramientas como Garak. Veremos la diferencia de las métricas publicadas con la medición de los modelos una vez desplegados en producción. Luego mostrarán cómo mejorar la seguridad de los modelos como patrones como "LLM as a judge" utilizando LLM Guard.

Los asistentes aprenderán posibles riesgos en proyectos de IA a tener en cuenta durante la planficación, y cómo emplear herramientas para evitarlos. Todas las herramientas y procedimientos demostrados serán open source.