Zum Hauptinhalt springen

Der Paradigmenwechsel der Sprachmodelle: Lokale Modelle auf Augenhöhe

  • Offene, lokal betreibbare Sprachmodelle erreichen in mehreren Aufgabenfeldern das Niveau kommerzieller Spitzenmodelle. Bei Programmier- und Mathematikaufgaben bleibt nach den vorliegenden Arbeiten ein messbarer Abstand.

  • Die Dominanz zentralisierter, proprietärer Sprachmodelle gilt in der technologischen Debatte vielfach als gesetzt. Ein Blick in die Open-Source-Forschung zeigt ein differenzierteres Bild. Die Prämisse, dass allein große geschlossene Systeme weniger Anbieter den Anforderungen der Digitalisierung gewachsen seien, trägt in dieser Allgemeinheit nicht. Der strategische Einsatz von Künstlicher Intelligenz (KI) in der Unternehmensarchitektur verschiebt sich zunehmend in Richtung lokal gehosteter, offener Modelle. Diese dedizierten KI-Mittel halten die Verarbeitung im eigenen Haus und kommen durch architektonische Effizienz und gezielte methodische Anpassungen in einer Reihe von Aufgabenfeldern nahe an kommerzielle Spitzenmodelle heran – bei Programmier- und Mathematikaufgaben bleibt nach den hier angeführten Arbeiten ein messbarer Abstand.

    Zuschnitt auf die Domäne statt Größe allein

    Proprietäre Modelle sind auf universelle Anwendbarkeit trainiert, was eine hohe Parameteranzahl und entsprechende Rechenzentren erfordert; das Whitepaper der Plattform Lernende Systeme hält dazu fest, dass Modelle wie GPT-4 „deutlich mehr Parameter und damit eine bessere Vorhersage-Leistung für zahlreiche Aufgaben“ haben (Löser, Tresp et al., 2023). Kompaktere, lokal lauffähige KI-Tools lassen sich demgegenüber durch fachspezifisches Fine-Tuning auf eine eng umrissene Domäne zuschneiden – dieselbe Quelle vermerkt allerdings, dass Anwendungen für eine spezifische Domäne, ausdrücklich genannt sind Maschinenbau, Dienstleistungen, Gesundheit und Rechtswesen, „erhebliche Anpassungsleistungen“ benötigen. Dass ein solcher Zuschnitt ein generisches Spitzenmodell in dessen eigener Domäne übertreffen kann, ist bislang nur punktuell belegt: In einer referierten medizinischen Evaluation übertraf eine feinabgestimmte offene Modellfamilie mit 13 beziehungsweise 70 Milliarden Parametern GPT-4 auf fünf von acht Datensätzen und ChatGPT auf sieben von acht (Xie et al., 2025). Eine vergleichbare Messung für Anwendungsfälle des deutschen Mittelstands liegt uns nicht vor. Der Bericht zur Llama-2-Modellfamilie zeigt, wie weit dieser Weg trägt und wo er endet: In der menschlichen Bewertung der Hilfsbereitschaft erreicht das größte offene Chat-Modell in etwa das Niveau des verglichenen kommerziellen Chat-Modells, während die Autoren bei Programmieraufgaben ausdrücklich einen Rückstand gegenüber den geschlossenen Spitzenmodellen ausweisen (Touvron et al., 2023). Zur juristischen Textanalyse trifft der Bericht keine Aussage – und belastbare Vergleichszahlen liegen für diese Domäne auch sonst nicht vor: Für das Rechtswesen ebenso wie für den Maschinen- und Fahrzeugbau fehlen im Deutschen nach dem Whitepaper der Plattform Lernende Systeme die Benchmarks, an denen sich ein solcher Vergleich überhaupt messen ließe (Löser, Tresp et al., 2023). Für eine Effizienzsteigerung im Betrieb kommt es daher weniger auf die Größe des Modells an als auf den Zuschnitt auf den konkreten Anwendungsfall des Unternehmens.

    Parameter-effizientes Fine-Tuning (PEFT) als technologischer Hebel

    Was lokal gehostete Modelle praktisch handhabbar macht, ist der gesunkene Aufwand für die Anpassung. Mit der Niedrigrang-Adaption (LoRA) lassen sich Basismodelle anpassen, ohne alle Gewichte neu zu trainieren: Für ein Modell mit 175 Milliarden Parametern berichten die Autoren eine um den Faktor 10.000 geringere Zahl trainierbarer Parameter und einen um den Faktor 3 gesunkenen GPU-Speicherbedarf gegenüber vollständigem Fine-Tuning (Hu et al., 2021). Diese Anpassbarkeit transformiert generische Künstliche Intelligenz in ein maßgeschneidertes Werkzeug, welches das exklusive Fachwissen der eigenen Organisation kodifiziert. Die Integration sensibler Unternehmensdaten wird dadurch lokal – "on-premise" – realisierbar, ohne dass ein riskantes Auslagern an externe Cloud-Schnittstellen erfolgen muss.

    Wissensdestillation: Die Verdichtung von kognitiver Leistung

    Die Leistungsfähigkeit lokaler Systeme lässt sich zudem durch Verfahren der sogenannten Wissensdestillation (Knowledge Distillation) steigern. Dabei werden Ausgaben und Präferenzurteile größerer Modelle genutzt, um kleinere, lokal ausführbare Architekturen zu trainieren und auszurichten – übertragen wird also weniger ein Wissensbestand als ein Verhaltensmuster. Empirische Analysen dieser Destillationsverfahren belegen, dass die daraus resultierenden kompakten KI-Mittel in strengen Benchmarks zur Textgenerierung und zum logischen Schlussfolgern mit weitaus größeren, geschlossenen Pendants absolut konkurrieren können (Tunstall et al., 2023). Der Betrieb im eigenen Haus hält die Daten im Unternehmen und verschiebt laufende Kosten je Anfrage hin zu einer Investition in eigene Hardware. Eine Amortisationsrechnung enthält keine der hier angeführten Arbeiten, und wir legen an dieser Stelle bewusst keine vor: Sie hängt vom Nutzungsvolumen ab und ist im Einzelfall zu prüfen. KfW Research weist zudem darauf hin, dass auf Unternehmensebene neben der Rechenleistung „anwendungsspezifische Anpassungsarbeiten sowie ebenfalls komplementäre Investitionen, etwa in Schnittstellentechnologien, in die Arbeitsorganisation und in das Humankapital der Beschäftigten“ erfolgen müssen (Zimmermann, 2026) – die Hardware ist nur ein Posten unter mehreren.

    Fazit: Autonomie durch offene Architekturen

    Die angeführten Arbeiten stützen einen begrenzten, aber belastbaren Schluss: Für Dialog, Textarbeit und fachlich eng umrissene Anwendungen sind lokal gehostete, quelloffene Sprachmodelle keine Kompromisslösung mehr. Bei Programmier- und Mathematikaufgaben liegen die proprietären Spitzenmodelle nach denselben Quellen weiterhin vorn. Wer im Rahmen seiner Architektur auf lokale KI-Tools setzt, behält die Daten im eigenen Haus – das Whitepaper der Plattform Lernende Systeme benennt genau diesen Punkt, weil Prompts und Kontext andernfalls an Anbieter gehen, die „nicht dem europäischen Rechtsraum“ unterliegen (Löser, Tresp et al., 2023). Ob der Eigenbetrieb zugleich der günstigere Weg ist, entscheidet das Nutzungsvolumen; einen belastbaren Kostenvergleich liefert keine der hier angeführten Quellen, und Alexander Löser hält den Aufbau eigener Sprachmodelle für einen Großteil der deutschen Unternehmen ausdrücklich für nicht rentabel (Plattform Lernende Systeme, 2023). Für die Anforderungen der fortschreitenden Digitalisierung bleibt die Datenhoheit gleichwohl ein tragfähiger Ausgangspunkt.

    Quellenverzeichnis

    Über den Autor

    Prof. Dr. rer. nat. Mike Espig

    Professor für Mathematik und angewandte Künstliche Intelligenz in der Industrie an der Westsächsischen Hochschule Zwickau · Gründungsleiter der Data Science Research Group · Geschäftsführer der E&O Gesellschaft für Integrierte KI-Systeme mbH

    Zuvor Max-Planck-Institut für Mathematik in den Naturwissenschaften und RWTH Aachen. Arbeitsschwerpunkte: numerische Verfahren für hochdimensionale Probleme, Tensormethoden und der Einsatz von Sprachmodellen in mittelständischen Unternehmen.