Small Language Models: On-Premise-KI für Behörden

Ein Small Language Model (SLM) ist ein kompaktes, meist auf eine enge Aufgabe zugeschnittenes KI-Modell, das mit deutlich weniger Parametern arbeitet als ein großes Sprachmodell (LLM) wie GPT-5, Gemini 2.5 oder Claude Sonnet 4.5. Der entscheidende Unterschied für Behörden liegt nicht nur in der Größe, sondern im Betriebsort: Ein SLM lässt sich on-premise betreiben – auf eigener Server-Hardware, ohne dass Bürgerdaten das Behördennetz verlassen. Das kostet Rechenleistung im Vergleich zu einem Cloud-LLM, spart aber Lizenzkosten, senkt das Datenschutzrisiko und macht KI-Souveränität zu einer technischen Entscheidung statt zu einer Grundsatzdebatte. Für klar umrissene, sich wiederholende Aufgaben – Textextraktion, Kategorisierung, einfache Prüfungen – reicht ein SLM in der Praxis oft völlig aus. Für offene, breite Wissensfragen mit viel Kontext bleibt ein großes Modell im Vorteil. Welche Aufgabe welches Modell braucht, entscheidet sich an der Kleinschrittigkeit der Aufgabe – nicht an der Höhe des Marketingversprechens.

SLM oder LLM: Was ist der Unterschied?

Große Sprachmodelle sind Generalisten. Sie beherrschen ein enormes Themenspektrum, benötigen dafür aber massive Rechenkapazität – die in aller Regel nur wenige Cloud-Anbieter bereitstellen können. Genau dort liegt für Behörden das Problem: Bürger- und Fachdaten wandern bei jeder Anfrage zu einem Server, der meist außerhalb der eigenen Kontrolle liegt, oft außerhalb der EU.

Small Language Models drehen dieses Verhältnis um. Sie sind bewusst auf eine begrenzte Aufgabe zugeschnitten – etwa Textextraktion aus Dokumenten, Bildbeschreibung oder einfache Plausibilitätsprüfungen. Weil sie kleiner sind, laufen sie auf überschaubarer eigener Hardware, meist einem Server mit erweiterten Grafikkartenressourcen. Die Daten bleiben im eigenen Netz. Das ist der Kern von KI-Souveränität: nicht Misstrauen gegenüber der Technologie, sondern Kontrolle über den Datenfluss.

• Betriebsort — Small Language Model: On-premise, eigene Hardware möglich — Großes Sprachmodell (LLM): Fast immer Cloud, oft außerhalb der EU
• Aufgabenprofil — Small Language Model: Eng umrissen, sich wiederholend — Großes Sprachmodell (LLM): Breit, offene Wissensfragen
• Datenschutz — Small Language Model: Daten bleiben im eigenen Netz — Großes Sprachmodell (LLM): Datenfluss zum Cloud-Anbieter
• Kosten — Small Language Model: Einmalige Hardware, geringe Betriebskosten pro Anfrage — Großes Sprachmodell (LLM): Laufende API-Kosten, oft pro Token
• Transparenz — Small Language Model: Häufig offen lizenziert (Apache-2.0, MIT) — Großes Sprachmodell (LLM): Meist proprietär, Blackbox
• Typischer Einsatz — Small Language Model: Kategorisierung, Extraktion, Vorprüfung — Großes Sprachmodell (LLM): Recherche, freies Texten, komplexes Reasoning über viele Domänen

Warum on-premise für Behörden mehr ist als ein Nice-to-have

Öffentliche Träger ringen nicht nur mit dem Verständnis der Technologie, sondern auch damit, dass notwendiger Datenschutz Innovation erschwert – und dass ein erheblicher Teil aller KI-Prozessintegrationen am Ende keinen messbaren Mehrwert bringt. On-premise betriebene SLMs lösen genau diesen Zielkonflikt: Sensible Akten, Anträge und Bürgerdaten verlassen nie die eigene Infrastruktur. Es entsteht kein problematischer Datenfluss in eine Public-Cloud-Umgebung, wie er bei der Nutzung großer US-amerikanischer Cloud-LLMs entstehen kann.

Ein Beispiel aus der Praxis: Für das Projekt „LudwigOne", eine KI-Assistenz für die Denkmalpflege, fiel die konsequente Entscheidung gegen proprietäre Cloud-LLMs wie Google Gemini 2.5, OpenAI GPT-5 oder Anthropic Claude Sonnet 4.5. Stattdessen läuft das System mit transparenten, kleinen, aufgabenspezifischen Modellen europäischer Hersteller wie Mistral aus Frankreich – ein kompaktes Sprachmodell für Textextraktion und einfache Prüfungen, ein Vision-Modell für Bildbeschreibung, ein Logik-Modell für die Zusammenführung in Berichtsform. Alle Komponenten sind containerisiert mit Docker orchestriert und ausschließlich unter Apache-2.0- oder MIT-Lizenz verfügbar – keine proprietären, lizenzpflichtigen Technologien. Die vollständige Fallstudie lesen Sie im Beitrag LudwigOne: KI-Assistenz in der Denkmalpflege.

Chunking: Kleinschrittigkeit als Prinzip, nicht als Notlösung

Ein verbreiteter Einwand gegen kleine Modelle: Sie könnten große Datenmengen nicht verarbeiten. In der Praxis stimmt das nur, wenn man Größe mit Fähigkeit verwechselt. Der Ausweg heißt Chunking: Umfangreiche Dokumente und Datenmengen werden in fachlich sinnvolle Abschnitte zerlegt und Stück für Stück von einem kleinen Modell verarbeitet – nach dem Grundsatz der Kleinschrittigkeit.

Das hat zwei handfeste Vorteile. Erstens Nachvollziehbarkeit: Jeder einzelne Verarbeitungsschritt lässt sich isoliert prüfen und protokollieren, statt in einer einzigen intransparenten Modellantwort zu verschwinden. Zweitens Ressourceneffizienz: Ein kleines Modell, das einen klar begrenzten Ausschnitt verarbeitet, braucht deutlich weniger Rechenleistung als ein großes Modell, das denselben Umfang „auf einmal" verarbeiten soll. Damit setzt dieser Ansatz bewusst einen Gegentrend zum Verarbeitungshunger großer Lösungen wie ChatGPT oder Gemini.

Wann reicht ein Small Language Model – und wann nicht?

Nicht jede Aufgabe eignet sich für ein kompaktes Modell. Als Faustregel gilt:

• Ein SLM reicht, wenn die Aufgabe klar umrissen und wiederkehrend ist: Dokumente kategorisieren, Dateien konsistent umbenennen, Rechnungsangaben extrahieren, einfache Vollständigkeitsprüfungen durchführen, Bilder beschreiben.
• Ein größeres Modell braucht es, wenn die Aufgabe offenes Reasoning über viele Fachgebiete hinweg erfordert, wenig strukturierte Eingabedaten vorliegen oder freies, kreatives Formulieren gefragt ist.
• Eine Kombination trägt oft am weitesten: kleine, spezialisierte Modelle für die Vorverarbeitung, ein etwas leistungsfähigeres Logik-Modell für die Zusammenführung der Einzelergebnisse – wie bei LudwigOne umgesetzt.

Wie Sie grundsätzlich entscheiden, wo Sie mit KI in Ihrer Verwaltung anfangen – evidenzbasiert, als Pilot oder von oben verordnet –, lesen Sie im Pillar-Beitrag KI in der Verwaltung einführen.

FAQ

Was unterscheidet ein Small Language Model von einem großen Sprachmodell wie GPT-5? Vor allem Größe, Aufgabenzuschnitt und Betriebsort. Ein SLM hat deutlich weniger Parameter, ist auf eng umrissene Aufgaben spezialisiert und lässt sich on-premise betreiben. Ein LLM ist ein Generalist, der meist nur in der Cloud wirtschaftlich betreibbar ist.

Ist on-premise betriebene KI automatisch DSGVO-konform? Automatisch nicht, aber der Betriebsort löst das größte praktische Problem: Daten verlassen nicht die eigene Infrastruktur. Eine Datenschutzfolgenabschätzung bleibt trotzdem notwendig, fällt aber deutlich einfacher aus als bei einem Cloud-LLM außerhalb der EU.

Sind Small Language Models für jede Verwaltungsaufgabe geeignet? Nein. Sie eignen sich besonders für wiederkehrende, klar umrissene Aufgaben wie Dokumentenkategorisierung oder Textextraktion. Für offene Wissensfragen oder komplexes Reasoning über viele Fachgebiete bleibt ein größeres Modell im Vorteil.

Was bedeutet Chunking in diesem Zusammenhang? Große Dokumente oder Datenmengen werden in fachlich sinnvolle Abschnitte zerlegt und Stück für Stück verarbeitet, statt „auf einmal" in ein Modell gegeben zu werden. Das erhöht Nachvollziehbarkeit und senkt den Ressourcenbedarf.

Welche Kosten entstehen bei einer On-Premise-Lösung im Vergleich zur Cloud? On-premise entstehen einmalige Hardwarekosten und laufende Betriebskosten für die eigene Infrastruktur, dafür fallen keine laufenden API-Gebühren pro Anfrage an. Cloud-Lösungen sind anfangs günstiger, skalieren die Kosten aber direkt mit der Nutzung.