ChatGPT müsste eigentlich einen Warnhinweis haben. Der ständige Gebrauch macht eindeutig süchtig. Manche sagen sogar, er macht uns dumm. Aber das ist gar nicht so sehr das Problem. Der Taschenrechner hat uns auch nur bedingt geschadet. Was uns allerdings Probleme bereitet, ist die teilweise mangelnde Verlässlichkeit der Ergebnisse, die uns die Chatbots präsentieren (gemeint sind Halluzinationen und logische Fehler).
Tatsächlich treffen hier eine technische und eine menschliche Schwäche aufeinander. Die KI ist nicht deterministisch und liegt mit einer gewissen Wahrscheinlichkeit auch mal falsch oder zumindest leicht daneben. Der Mensch kann hingegen nur schlecht mit statistischen Sachverhalten umgehen. Das macht die Quantenmechanik so schwierig zu verstehen und freut die Versicherungsbranche. Wenn wir allerdings generative KI im Entwicklungsprozess einsetzen, müssen wir uns der Frage stellen, inwieweit unsere Sicht auf die Ergebnisse nicht getrübt ist und was wir tun sollten, um verlässliche Benchmarks, z.B. für KI-Agenten zu entwickeln.