EnglishAI-Designers
Warum Ihr KI-Server die meiste Zeit wartet
Ein Sprachmodell schreibt seine Antwort Wort für Wort. Genauer: Token für Token. Für jedes einzelne Token lädt die Grafikkarte die kompletten Modellgewichte aus dem Speicher, rechnet einen Schritt, hängt das Ergebnis an – und beginnt von vorn. Bei einem Modell mit 70 Milliarden Parametern bedeutet das: Dutzende Gigabyte wandern pro Token durch den Speicherbus. Die Rechenwerke der GPU langweilen sich dabei. Sie warten auf Daten.
Genau hier liegt der Engpass selbst-gehosteter KI. Nicht die Rechenleistung bremst, sondern die Speicherbandbreite. Ihre teure H100 oder Ihr RTX-6000-Cluster ist bei der Textausgabe oft nur zu einem Bruchteil ausgelastet. Wer viele Nutzer gleichzeitig bedient oder lange Antworten braucht, spürt das sofort: Die Antworten tröpfeln, die Latenz steigt, und irgendwann kaufen Sie die nächste Karte.
Speculative Decoding dreht dieses Problem um. Die Technik füllt die Wartezeit der GPU mit sinnvoller Arbeit – und liefert exakt denselben Text, den Ihr Modell ohnehin geschrieben hätte. Kein Qualitätsverlust, keine Kompromisse bei der Ausgabe. Nur schneller.
Ein kleines Modell rät, das große prüft
Die Idee ist erstaunlich simpel. Statt das große Modell jedes Token einzeln erzeugen zu lassen, springt ein kleines, schnelles Entwurfsmodell ein. Dieses „Draft-Modell“ schlägt in einem Rutsch mehrere Token vor, sagen wir vier oder fünf. Weil es klein ist, kostet das kaum Zeit.
Dann kommt das große Modell ins Spiel. Es prüft alle vorgeschlagenen Token in einem einzigen Durchlauf – parallel, nicht nacheinander. Passt der Vorschlag, übernimmt es ihn und spart sich die einzelnen Schritte. Weicht das große Modell an einer Stelle ab, verwirft es den Rest ab diesem Punkt und macht selbst weiter. So kann die GPU mehrere Token zum Preis von einem verarbeiten, wann immer Draft- und Zielmodell übereinstimmen.
Der entscheidende Punkt: Das Verfahren ist verlustfrei. Das große Modell hat bei jedem Token das letzte Wort. Der Entwurf beschleunigt nur die Fälle, in denen die Antwort ohnehin naheliegt – und davon gibt es in typischem Fließtext, Code oder strukturierten Ausgaben eine Menge. Berichte aus der Praxis nennen je nach Aufgabe Beschleunigungen im Bereich des Anderthalb- bis Dreifachen.
Drei Varianten, drei Kompromisse
Nicht jedes Draft-Modell muss ein separates neuronales Netz sein. In der Praxis haben sich drei Ansätze durchgesetzt, und jeder passt zu einer anderen Situation.
Der klassische Weg nutzt ein kleines, eigenständiges Entwurfsmodell derselben Familie – etwa ein 1-Milliarde-Modell als Zuträger für ein 70-Milliarden-Zielmodell. Das funktioniert breit, kostet aber etwas GPU-Speicher für das zweite Modell. Die zweite Variante verzichtet ganz auf ein Modell: N-Gramm-Matching sucht schlicht in bereits generiertem Text nach Wiederholungen. Das kostet fast nichts und glänzt bei Aufgaben mit viel Wiederholung, etwa wenn ein Modell aus einem langen Dokument zitiert oder Code umschreibt.
Am weitesten geht der EAGLE-Ansatz, der das Zielmodell selbst um einen leichten Vorhersagekopf ergänzt. Er trifft besonders gute Vorschläge, weil er direkt aus den internen Zuständen des großen Modells lernt. Dafür müssen Sie ihn einmal trainieren. Die Bibliothek „speculators“ aus dem vLLM-Projekt bündelt mittlerweile mehrere dieser Methoden unter einem Dach, sodass Sie nicht jede Variante von Hand verdrahten müssen.
Was das für Ihr Budget bedeutet
Rechnen wir es durch, ohne Zahlen zu erfinden. Wenn dieselbe Grafikkarte doppelt so schnell antwortet, bedienen Sie die doppelte Zahl an Anfragen mit derselben Hardware. Oder Sie halbieren die Wartezeit für Ihre Nutzer. Beides zahlt direkt auf die Betriebskosten ein – gerade dann, wenn Sie ein Modell rund um die Uhr für interne Chatbots, Dokumentenanalyse oder Entwicklerwerkzeuge betreiben.
Für viele Mittelständler verschiebt das die Grenze, ab der sich eigene Hardware lohnt. Wer bisher knapp an der Kapazität einer Karte scheiterte, kommt mit Speculative Decoding womöglich ohne Neuanschaffung aus. Und wer ohnehin skaliert, braucht schlicht weniger GPUs für dieselbe Last. Die Technik verlangt keine neue Hardware, keinen Cloud-Vertrag und keinen Anbieterwechsel – sie holt mehr aus dem heraus, was bereits im Rack steht.
Wo die Technik glänzt – und wo sie stolpert
Speculative Decoding wirkt am stärksten dort, wo einzelne Antworten schnell fertig sein sollen und die GPU nicht ohnehin schon voll ausgelastet ist. Interaktive Assistenten sind der Paradefall: Ein Entwickler, der auf eine Code-Vervollständigung wartet, merkt jede halbe Sekunde. Auch bei strukturierten Ausgaben wie JSON oder bei Antworten, die eng an einer Vorlage kleben, sind die Vorschläge des Draft-Modells oft treffsicher – die Beschleunigung fällt entsprechend groß aus.
Es gibt aber eine Kehrseite. Wenn Sie sehr viele Anfragen gleichzeitig verarbeiten und Ihre GPU bereits am Anschlag läuft, bringt die Technik weniger. In diesem Fall fehlt die Wartezeit, die sie sonst nutzt. Ein schlecht abgestimmtes Draft-Modell kann sogar bremsen, weil das Zielmodell dessen Fehlvorschläge ständig verwerfen muss. Die entscheidende Kennzahl heißt Akzeptanzrate: Sie misst, wie oft das große Modell die Entwürfe übernimmt. Liegt sie hoch, gewinnen Sie deutlich. Liegt sie niedrig, lohnt sich der Aufwand kaum.
So starten Sie in der Praxis
Der Einstieg ist niedrigschwellig, wenn Sie bereits einen Inferenz-Server wie vLLM betreiben. Dort schalten Sie Speculative Decoding über wenige Konfigurationsparameter frei und geben das Draft-Modell oder die N-Gramm-Methode an. Testen Sie zuerst mit Ihren eigenen typischen Anfragen, nicht mit synthetischen Beispielen – die Akzeptanzrate hängt stark davon ab, wie vorhersehbar Ihr Text ist.
Messen Sie vorher und nachher. Notieren Sie Token pro Sekunde, Latenz und Akzeptanzrate für ein realistisches Lastprofil. Erst diese Zahlen zeigen, welche Variante zu Ihrem Anwendungsfall passt. Beginnen Sie mit dem N-Gramm-Ansatz, weil er ohne zusätzliches Modell auskommt und in Minuten eingerichtet ist. Bringt er zu wenig, steigen Sie auf ein Draft-Modell oder EAGLE um.
Wichtig bleibt: Sie ändern nur die Geschwindigkeit, nicht das Verhalten Ihres Modells. Antworten, Sicherheitsregeln und Feinabstimmung bleiben unangetastet. Damit eignet sich die Technik auch für regulierte Umgebungen, in denen jede Ausgabe reproduzierbar sein muss.
Fazit: mehr Tempo aus vorhandener Hardware
Speculative Decoding gehört zu den seltenen Optimierungen ohne echten Haken. Sie kostet kein Stück Antwortqualität, verlangt keine neue Grafikkarte und lässt sich schrittweise erproben. Für jedes Unternehmen, das eigene KI-Modelle betreibt und auf schnelle Antworten oder niedrige Kosten angewiesen ist, gehört sie auf die Prüfliste.
Sie planen eine selbst-gehostete KI-Lösung oder wollen Ihre bestehende Inferenz effizienter machen? Sprechen Sie mit uns – wir begleiten Sie von der Architektur bis zum produktiven Betrieb. Mehr dazu auf www.ai-designers.de.
Bilder: AI-Designed