Local-First AI - Alles läuft auf deinem Laptop
Ein kompletter AI-Stack ohne Cloud: Chat, Code-Assistenz, Transkription, Embeddings und Bildverarbeitung, alles lokal und privat. Der Workshop zeigt, welche Modelle 2026 lokal wirklich taugen, wie man sie effizient betreibt, wo die Qualität überrascht und wo sie nicht reicht. Am Ende hat jeder Teilnehmer einen funktionierenden lokalen Stack mit Vue-Oberfläche und weiss, wann Cloud und wann lokal die richtige Antwort ist.
Nicht jedes LLM-Feature muss in der Cloud laufen. Es gibt drei starke Gründe für lokal:
- Compliance: In Gesundheit, Finanzen und öffentlichem Sektor ist Datenabfluss ein Showstopper
- Kosten: Bei hohem Volumen summieren sich API-Kosten schnell
- Verständnis: Ein lokaler Stack ist der beste Lehrer, um zu verstehen, was unter der Haube passiert
Die Modell-Landschaft 2026
Die Reife der offenen Modelle macht lokales AI erstmals alltagstauglich:
- Modelle: Qwen, Llama, Phi, Gemma, Mistral liefern in 3B–14B Parametern erstaunliche Qualität
- Quantisierung: GGUF, GPTQ, AWQ machen diese Modelle auf Consumer-Hardware lauffähig
- Runtimes: Ollama (einfach), llama.cpp (flexibel), MLX (optimal für Apple Silicon), vLLM (Production)
Was bauen wir?
Einen kompletten lokalen Stack mit fünf Bausteinen:
- Chat-Modell für Konversation
- Embeddings-Modell für Vektorsuche und RAG
- Whisper.cpp für Echtzeit-Transkription
- Vision-Modell für Bildverarbeitung
- Python-Backend mit intelligentem Routing (lokal für private Daten, Cloud für komplexe Aufgaben)
Reality-Check
Der ehrliche Vergleich lokal vs. Cloud mit eigenen Benchmarks:
- Überraschend gut lokal: Klassifikation, Extraktion, einfache Zusammenfassungen, Code-Completion
- Cloud gewinnt klar: Komplexes Reasoning, lange Kontexte, kreatives Schreiben
- Diskussion: Wie verkauft man lokale AI intern? Wie verteilt und aktualisiert man Modelle im Team?
David Pinezich studierte Informatik in Zürich und ist seit vielen Jahren als Entwickler und Architekt bei diversen Banken, Versicherungen und KMUs tätig. Er entwickelt vorwiegend in Python, PHP, Java sowie JavaScript/TypeScript, und das mit grosser Leidenschaft. Durch seine Liebe zum Unterrichten hat er seine eigene Firma, die apigenio GmbH, gegründet, die sich auf Schulungen, Architektur-Consulting und Individualsoftware spezialisiert hat.