Wenn Gebrauchsanweisungen über Nacht entstehen, Product Owner plötzlich Code beisteuern und der Werbejingle verdächtig nach der vor Jahren verstorbenen Popsängerin klingt, dann hat häufig KI ihre Finger im Spiel. Der Vormarsch der künstlichen Intelligenz ist nicht aufzuhalten, doch was macht das mit uns?

Klar ist: KI kann die Produktivität enorm erhöhen, aber KI macht auch Fehler. Manchmal witzig, oft sehr peinlich, aber leider manchmal auch hochgefährlich. Gerade bei Medizinprodukten kann dies fatal sein, und herausfordernd für Test- und Reviewprozesse. Bleiben für Effizienzgewinne Qualität und Sicherheit am Ende auf der Strecke?

Wir untersuchen, welche Fehlerbilder und Probleme bei der praktischen Anwendung von KI in der Medizintechnik entstehen können, insbesondere in der Softwareentwicklung, der Qualitätssicherung und der Erzeugung der zugehörigen Dokumentation, wo generative KI massive Entlastung verheißt. Nicht immer liegen die Schwächen im KI-Modell selbst. Und schließlich schauen wir uns an, welches Chaos schon heute autonom agierende KI-Agenten anrichten können.

Der AI Act und neue Normen adressieren nur einen Teil der Probleme, die auf uns zukommen, wenn KI unseren Alltag noch stärker durchdringt. Auch jenseits der weitreichenden Regulierung von KI-(Medizin)produkten beleuchten wir daher, welche Maßnahmen in Sachen Qualität und Sicherheit geboten sind – und welche in Zukunft notwendig werden, um Pleiten, Pech und Pannen zu vermeiden.