Voice Agents bauen - Realtime APIs in der Praxis
Sprechende KI-Assistenten mit natürlicher Latenz, Unterbrechbarkeit und Tool-Use, selbst gebaut an einem Tag. Kein Zusammenstückeln von STT + LLM + TTS, sondern ein einziger Realtime-Endpoint, der Audio rein bekommt und Audio zurückgibt. Der Workshop deckt die gesamte Pipeline ab: Audio-Capture im Browser, WebSocket-Streaming zum Backend, Voice-Activity-Detection, Interrupt-Handling und Tool-Use mit Fehlerbehandlung und Observability.
2025 war das Jahr, in dem Voice Agents den Sprung vom Demo-Video in echte Produkte gemacht haben. Die neuen Realtime-APIs von OpenAI, Google und anderen ersetzen die alte Architektur (separate STT → LLM → TTS-Pipeline mit ihren Latenzen) durch einen einzigen bidirektionalen Audio-Stream. Das Ergebnis fühlt sich an wie ein echtes Gespräch, mit Pausen, Unterbrechungen und natürlichem Timing.
Was bauen wir?
Die Teilnehmer erstellen Schritt für Schritt einen funktionierenden Voice Agent:
- FastAPI-Backend mit WebSocket-Verbindung zum Realtime-Endpoint
- Vue-Frontend mit Audio-Capture vom Mikrofon und Playback der Antwort
- Tool-Use-Integration: der Agent führt echte Aktionen aus (Termine abfragen, Berechnungen, API-Calls)
- Interrupt-Handling: der Agent kann mitten im Satz unterbrochen werden und reagiert natürlich
- Parallele Tool-Calls und persistenter Konversationszustand über mehrere Turns
Produktions-Realität
Zum Schluss arbeiten wir an den Themen, die Demos von echten Produkten unterscheiden:
- Was passiert bei Netzwerk-Unterbrüchen?
- Wie verhindert man, dass der Agent sich selbst hört (Echo-Cancellation)?
- Wie debuggt man eine Konversation, die schiefgelaufen ist?
- Kosten-Management: Realtime-Calls sind teuer, wie hält man das Budget?
🎤 Jeder Teilnehmer geht mit einem funktionierenden, sprechenden Assistenten nach Hause.
David Pinezich studierte Informatik in Zürich und ist seit vielen Jahren als Entwickler und Architekt bei diversen Banken, Versicherungen und KMUs tätig. Er entwickelt vorwiegend in Python, PHP, Java sowie JavaScript/TypeScript, und das mit grosser Leidenschaft. Durch seine Liebe zum Unterrichten hat er seine eigene Firma, die apigenio GmbH, gegründet, die sich auf Schulungen, Architektur-Consulting und Individualsoftware spezialisiert hat.