EnglishAI-Designers
Ein großes Modell, das lehrt. Ein kleines, das arbeitet.
Viele Unternehmen stecken im selben Dilemma. Das beste Sprachmodell für ihre Aufgabe hat Hunderte Milliarden Parameter, läuft nur auf teurer Hardware oder in einer fremden Cloud und verschlingt bei jedem Aufruf Rechenzeit. Das kleine Modell, das lokal auf der eigenen GPU liefe, versteht die Fachsprache nicht und rät zu oft daneben. Beide Enden taugen nicht für den Alltag.
Modell-Destillation löst genau diese Spannung. Ein großes, fähiges Modell übernimmt die Rolle des Lehrers. Ein kleines Modell lernt von ihm, bis es dieselbe Aufgabe fast genauso gut erledigt – nur mit einem Bruchteil der Parameter. Die Idee ist nicht neu; Geoffrey Hinton und Kollegen beschrieben sie schon 2015. Doch erst jetzt, wo starke offene Modelle frei verfügbar sind, wird sie für normale Unternehmen praktisch nutzbar.
Was beim Destillieren wirklich passiert
Der Trick steckt in dem, was der Lehrer preisgibt. Ein normales Trainingsbeispiel sagt nur: Diese Rechnung ist eine Eingangsrechnung. Der Lehrer sagt mehr. Er verrät, dass es zu 88 Prozent eine Eingangsrechnung ist, zu 9 Prozent eine Gutschrift und zu 3 Prozent eine Mahnung. Diese weichen Wahrscheinlichkeiten tragen Wissen über Ähnlichkeiten und Grenzfälle, das in einem harten Ja/Nein-Etikett komplett verloren geht.
Das kleine Modell lernt also nicht bloß die richtige Antwort, sondern die Denkweise des großen. Bei Aufgaben mit Begründung geht das noch weiter. Der Lehrer schreibt seine Zwischenschritte auf, und das kleine Modell übt, denselben Weg zu gehen – nicht nur das Ergebnis nachzuplappern. Fachleute nennen das Rationale-Distillation.
Praktisch läuft das in drei Schritten. Sie sammeln typische Eingaben aus Ihrem Betrieb, lassen den Lehrer sie beantworten und trainieren mit diesen Paaren das kleine Modell. Der Lehrer muss dabei nur einmal arbeiten. Danach steht ein Datensatz, den Sie beliebig oft wiederverwenden.
Warum sich das für den Mittelstand rechnet
Ein destilliertes Modell mit wenigen Milliarden Parametern läuft auf einer einzelnen GPU, oft sogar auf Hardware, die schon im Serverschrank steht. Keine Lizenz pro Abfrage, keine Daten, die das Haus verlassen, keine Wartezeit auf eine überlastete API. Wer täglich Zehntausende Dokumente klassifiziert oder E-Mails vorsortiert, spürt den Unterschied sofort auf der Stromrechnung und in der Antwortzeit.
Dazu kommt Tempo. Ein kleines Modell antwortet in Millisekunden statt in Sekunden. Das öffnet Anwendungen, die vorher nicht gingen: Vorschläge direkt im Eingabefeld, Prüfungen mitten im Bearbeitungsschritt, Analysen im Sekundentakt an der Fertigungslinie. Latenz ist kein Komfortthema, sie entscheidet oft darüber, ob eine Funktion überhaupt benutzt wird.
Und der Betrieb wird planbar. Ein Modell, das Ihnen gehört und lokal läuft, ändert sich nicht über Nacht, weil ein Anbieter eine neue Version ausrollt. Sie testen einmal, dann bleibt das Verhalten stabil – ein Argument, das in regulierten Branchen schwer wiegt.
Wo Destillation glänzt – und wo nicht
Am stärksten ist die Methode bei engen, klar umrissenen Aufgaben. Rechnungen den richtigen Konten zuordnen. Support-Tickets nach Dringlichkeit sortieren. Produktbeschreibungen aus Stammdaten erzeugen. Kundenanfragen an die passende Abteilung leiten. Überall dort, wo die Aufgabe wiederkehrt und das Feld begrenzt ist, holt ein kleines Modell den großen Lehrer fast ein.
Bei offenen, breiten Aufgaben sieht es anders aus. Ein Assistent, der über jedes Thema plaudern und komplex argumentieren soll, verliert beim Schrumpfen spürbar an Substanz. Hier bleibt das große Modell überlegen. Die ehrliche Regel lautet: Je schärfer Sie die Aufgabe fassen, desto kleiner darf das Modell werden. Wer alles auf einmal will, destilliert die Stärke gleich mit weg.
Auch die Datenqualität setzt Grenzen. Das kleine Modell erbt die Fehler des Lehrers. Rät der große falsch, lernt der kleine denselben Irrtum – nur schneller. Deshalb gehört zu jedem Projekt eine Stichprobe, die ein Mensch prüft, bevor der Datensatz ins Training geht.
Der Weg zum eigenen kleinen Modell
Fangen Sie mit einer einzigen Aufgabe an, die heute viel Handarbeit kostet und klar messbar ist. Definieren Sie vorab, was Erfolg heißt: eine Trefferquote, eine Bearbeitungszeit, eine Fehlerrate. Ohne diese Messlatte lässt sich später nicht sagen, ob das kleine Modell taugt.
Dann wählen Sie den Lehrer. Das darf ruhig das teuerste, beste Modell sein, das Sie erreichen – Sie zahlen es nur für die einmalige Erzeugung des Trainingssatzes, nicht im Dauerbetrieb. Als Schüler nehmen Sie ein offenes Modell in passender Größe und trainieren es mit den erzeugten Paaren. Werkzeuge dafür sind reif und gut dokumentiert.
Zum Schluss vergleichen Sie beide Modelle an echten, ungesehenen Fällen. Erreicht der Schüler Ihre Messlatte, geht er in den Betrieb. Verfehlt er sie knapp, hilft oft mehr oder besseres Trainingsmaterial statt eines größeren Modells. Dieser Kreislauf – messen, nachtrainieren, erneut messen – ist die eigentliche Arbeit, und er lohnt sich, weil das Ergebnis Ihnen dauerhaft gehört.
Ein Baustein, kein Allheilmittel
Destillation ersetzt weder saubere Daten noch klares Denken über den Prozess. Sie ist ein Hebel, um vorhandene Stärke von großen in kleine, bezahlbare Modelle zu übertragen. Kombiniert mit Quantisierung und einem schlanken Inferenz-Server entsteht daraus eine KI, die im eigenen Haus läuft, schnell antwortet und kalkulierbar bleibt.
Für viele Unternehmen ist das der realistischere Weg zur eigenen KI als der Versuch, ein Riesenmodell zu betreiben. Man borgt sich die Klugheit des Großen einmal aus und behält ein kleines Modell, das genau das kann, was der Betrieb braucht.
Sie überlegen, welche Ihrer wiederkehrenden Aufgaben sich für ein eigenes, destilliertes Modell eignen? Wir von AI-Designers analysieren Ihren Anwendungsfall, wählen den passenden Lehrer und liefern ein schlankes Modell, das lokal auf Ihrer Hardware läuft. Sprechen Sie uns an – wir zeigen Ihnen am konkreten Beispiel, was möglich ist.
Bilder: AI-Designed