Warum überhaupt lokale AI?
«AI» bedeutet für die meisten KMU heute eine Cloud-API: ChatGPT, Anthropic Claude, Google Gemini. Die Eingabe geht ins Rechenzentrum eines US-Konzerns, das Modell antwortet, der Text kommt zurück. Bequem, mächtig — und für viele HR-Anwendungsfälle schlicht ungeeignet.
Personaldaten sind besonders schützenswerte Daten. Mitarbeiterlöhne, Krankheitsdaten, Leistungsbeurteilungen, Bewilligungs-Status — all das gehört nicht in die Trainingsdaten oder Logs eines amerikanischen Cloud-Anbieters. Nicht nur aus DSG-Sicht. Sondern auch aus Sicht des gesunden Menschenverstandes.
Phi-4-mini-instruct: was es ist
Phi-4-mini-instruct ist ein kompaktes Sprachmodell von Microsoft Research mit etwa 3,8 Milliarden Parametern (Stand 2025). Es ist Open-Weight — das heisst, die Gewichte sind frei zugänglich und können lokal ausgeführt werden, ohne dass Daten das Gerät verlassen. Im Vergleich zu GPT-4 mit hunderten Milliarden Parametern klingt das wenig. Aber für klar abgegrenzte Aufgaben — Frage-Antwort, Zusammenfassung, Klassifikation — reicht es überraschend weit.
MLX und Apple Silicon
Apple Silicon (M1 bis M4) hat einen Unified-Memory-Aufbau und eine GPU mit hoher Speicherbandbreite. Das passt strukturell sehr gut zu Sprachmodellen. Mit dem MLX-Framework — Apples PyTorch-Pendant für die Apple-GPU — läuft Phi-4-mini auf einem MacBook mit 16 GB RAM flüssig, oft mit über 30 Tokens pro Sekunde.
Phi-4 lokal vs. ChatGPT-API: ein ehrlicher Vergleich
1. Datenschutz
Lokal: Daten verlassen das Gerät nie. Punkt. Kein Audit-Trail beim Anbieter, keine Trainings-Reuse, kein US-Cloud-Act-Risiko. Cloud-API: vertraglich oft gut geregelt — aber rechtlich ist die Datenübermittlung in die USA nach Schweizer DSG eine eigene Würdigung wert. Für Personaldaten ist «lokal» die einfachere Antwort.
2. Latenz
Lokal: ~50ms bis erste Antwort, dann ~30 Tokens/s — das fühlt sich «sofort» an. Cloud: 200–800ms Round-Trip plus Modell-Latenz, abhängig von der Auslastung. Für interaktive HR-Q&A ist lokal merklich angenehmer.
3. Qualität
Hier muss man ehrlich sein: GPT-4 oder Claude Sonnet sind objektiv besser bei komplexen Aufgaben — mehrstufiges Reasoning, lange Texte, exotische Sprachen. Phi-4-mini gewinnt bei klar umrissenen Aufgaben mit bekanntem Kontext: «Welcher Mitarbeiter hat letzten Monat die meisten Überstunden gemacht?» — das beantwortet ein lokales Modell genauso gut, wenn es Zugriff auf die richtigen Daten hat.
4. Kosten
Lokal: einmalige Hardware. Wer einen modernen Mac sowieso hat, zahlt nichts on top. Cloud: pro Token. Bei 50 Mitarbeitenden, die täglich AI-Funktionen nutzen, summiert sich das zu mehreren hundert Franken pro Monat — schnell.
5. DSG-Konformität
Das revidierte Datenschutzgesetz fordert Transparenz darüber, wo und wie Personaldaten bearbeitet werden. Bei lokaler AI ist die Antwort einfach: auf dem Gerät der Userin, nirgends sonst. Bei Cloud-AI braucht es ein Bearbeitungsverzeichnis-Eintrag, eine Datenschutzfolgenabschätzung und idealerweise einen Auftragsbearbeitungsvertrag. Mehr Aufwand für einen weniger klaren Schutz.
Use-Cases für HR-Q&A
- Bedienungs-Suche. «Wie storniere ich eine Schicht?» — lokales Modell mit Embedding-Suche über die App-Doku ist hier perfekt.
- L-GAV-Auskünfte. «Wie viele Pausen muss ich bei einer 9-Stunden-Schicht gewähren?» — Modell mit Zugriff auf den indexierten Vertragstext liefert eine Antwort plus Zitat.
- Lohn-Plausibilisierung. «Ist dieser Lohn marktüblich?» — kombiniert mit einer lokalen Lohn-Tabelle: ja.
- Stellenbeschrieb-Generator. «Schreib mir eine Stellenanzeige für eine Köchin, 80%, in DE und FR.» — selbst mit 4B Parametern überraschend brauchbar.
Wann Cloud-AI trotzdem die richtige Wahl ist
Lokal ist nicht bei allem die bessere Wahl. Wenn ein Use-Case echte Tiefe braucht — etwa eine 30-seitige Personalrichtlinie auf Konsistenz prüfen, oder einen komplexen Streitfall analysieren — lohnt sich Cloud-AI. Solange anonymisiert wird (keine Namen, keine Geburtsdaten) und der Anbieter vertraglich sauber ist, ist das vertretbar.
Die richtige Frage ist nicht «Cloud oder lokal?», sondern «welche Aufgabe lokal, welche in der Cloud, und welche gar nicht via AI?»
Fazit
Lokale AI ist 2026 nicht mehr nur ein Nerd-Experiment — sie ist eine seriöse Option für HR-Software, gerade in der Schweiz. Die Hardware ist da, die Modelle sind reif genug, und der Datenschutz spricht eine klare Sprache. Wer eine HR-Software auswählt, sollte explizit fragen: «Welche AI-Funktionen laufen lokal, welche cloud-seitig, und mit welchen Anbietern?» — und sich die Antwort schriftlich geben lassen.