Inferenz-Server: So machen vLLM & Co. eigene KI bezahlbar

Ein Unternehmen kauft eine GPU-Karte für 15.000 Euro, lädt ein Open-Weight-Modell darauf und stellt fest: Die Antworten kommen, aber die Karte langweilt sich. Auslastung 12 Prozent, der Rest verpufft. Genau hier entscheidet sich, ob selbst-gehostete KI ein teures Hobby bleibt oder sich rechnet. Nicht das Modell ist der Hebel, sondern der Server, der es bedient.

Die meisten Diskussionen drehen sich um Modelle: Welches Llama, welches Qwen, welches Mistral. Die Wirtschaftlichkeit entsteht aber eine Ebene tiefer, im Inferenz-Server. Er bestimmt, wie viele Anfragen eine Karte gleichzeitig bewältigt, wie viel Speicher verschwendet wird und wie schnell Ihr Team im Ernstfall skaliert. Wer das ignoriert, zahlt doppelt: einmal für Hardware, einmal für ungenutzte Rechenzeit.

Warum ein Modell zu laden nicht genügt

Ein Sprachmodell erzeugt Text Token für Token. Jeder Schritt braucht einen Durchlauf durch mehrere Milliarden Parameter. Lädt ein naiver Server das Modell und beantwortet eine Anfrage nach der anderen, dann rechnet die GPU für einen einzigen Nutzer und wartet danach. In einem Unternehmen mit hundert parallelen Anfragen aus dem Support, der Buchhaltung und dem Vertrieb ist das ruinös.

Der Trick moderner Inferenz-Server liegt darin, viele Anfragen gleichzeitig durch dieselbe Karte zu schicken. Die GPU ist ein Parallelrechner mit tausenden Recheneinheiten. Sie richtig zu füttern, verdoppelt oder verzehnfacht den Durchsatz, ohne dass Sie eine zweite Karte kaufen. Der Unterschied zwischen einem naiven Skript und vLLM ist damit oft der Unterschied zwischen zehn und hundert gleichzeitigen Nutzern.

Continuous Batching: die Karte nie leerlaufen lassen

Klassische Systeme bündeln Anfragen zu festen Gruppen. Kommen fünf Anfragen an, wartet der Server, bis alle fünf fertig sind, bevor die nächste Gruppe startet. Endet eine Antwort früher, blockiert der freie Platz trotzdem, bis der langsamste Nachbar durch ist. Bei stark schwankender Antwortlänge – eine Ja-Nein-Frage neben einer dreiseitigen Zusammenfassung – verschenkt das enorm viel Rechenzeit.

Continuous Batching bricht dieses starre Muster auf. Sobald eine Anfrage fertig ist, rückt sofort die nächste in den freien Platz nach. Die Karte arbeitet ununterbrochen, statt auf Nachzügler zu warten. vLLM hat diese Technik populär gemacht, SGLang und die Text Generation Inference von Hugging Face setzen sie ebenfalls ein. Für Ihren Betrieb heißt das: mehr Anfragen pro Sekunde bei gleicher Hardware, und das spürt man direkt auf der Stromrechnung.

Ein zweiter Effekt betrifft die Antwortzeit. Weil kein Nutzer mehr hinter einem langsamen Batch-Nachbarn feststeckt, bleiben die Reaktionszeiten auch unter Last stabil. Wer eine KI in ein Kundenportal einbaut, merkt den Unterschied an den Abbruchraten.

PagedAttention: der Speicher, den sonst niemand sieht

Damit ein Modell einen Gesprächsverlauf im Blick behält, legt es einen sogenannten KV-Cache an – eine Art Kurzzeitgedächtnis für jede laufende Anfrage. Herkömmliche Server reservieren dafür einen großen, zusammenhängenden Speicherblock pro Anfrage, dimensioniert auf die maximal mögliche Länge. Nutzt eine Anfrage nur einen Bruchteil davon, liegt der Rest brach. In der Praxis gehen so schnell 60 bis 80 Prozent des teuren GPU-Speichers verloren.

PagedAttention, die Kerninnovation von vLLM, überträgt eine alte Idee aus Betriebssystemen auf die GPU: Der Speicher wird in kleine Seiten zerlegt und nur dann vergeben, wenn er wirklich gebraucht wird. Das Modell greift über eine Tabelle auf verstreute Seiten zu, als wären sie am Stück. Der frei gewordene Speicher landet direkt bei neuen Anfragen. Konkret bedeutet das: Auf derselben Karte laufen deutlich mehr Nutzer parallel, weil der Speicher nicht mehr verschwendet wird.

Quantisierung: dasselbe Modell auf kleinerer Hardware

Modelle speichern ihre Parameter üblicherweise als 16-Bit-Zahlen. Quantisierung senkt diese Genauigkeit auf 8 oder sogar 4 Bit. Ein 70-Milliarden-Parameter-Modell, das in voller Genauigkeit zwei große Karten belegt, passt quantisiert oft auf eine einzige. Die Antwortqualität leidet bei gut gewählten Verfahren kaum spürbar, während die Hardware-Anforderung deutlich fällt.

Für die Budgetplanung ist das der größte Einzelhebel. Statt in eine zweite GPU zu investieren, betreiben Sie das Modell quantisiert auf vorhandener Hardware und gewinnen zusätzlich Durchsatz, weil weniger Daten bewegt werden. Verfahren wie AWQ oder GPTQ sind in vLLM und SGLang direkt eingebaut. Wichtig bleibt: Testen Sie die Qualität an Ihren eigenen Aufgaben, nicht an fremden Benchmarks. Eine Rechtsabteilung verzeiht Ungenauigkeit anders als ein internes FAQ.

vLLM, SGLang, TGI, TensorRT-LLM: die Kandidaten

Einen universellen Gewinner gibt es nicht. vLLM ist der De-facto-Standard geworden, breit erprobt und mit riesiger Community – für die meisten Häuser der vernünftige Startpunkt. SGLang spielt seine Stärke bei strukturierten Ausgaben und sehr hoher Gleichzeitigkeit aus. Die Text Generation Inference von Hugging Face gilt als reifer, gut dokumentierter Allrounder. TensorRT-LLM mit dem Triton-Server holt auf NVIDIA-Karten das letzte Quäntchen Leistung heraus, verlangt dafür aber mehr Einrichtungsaufwand.

Die ehrliche Empfehlung lautet: benchmarken Sie mit Ihren echten Anfragen. Ein Server, der bei kurzen Chat-Nachrichten glänzt, kann bei langen Dokumenten einbrechen. Messen Sie Durchsatz und Antwortzeit unter realistischer Last, bevor Sie sich festlegen. Zwei Nachmittage Vergleich sparen später wochenlange Umbauten.

Kaltstarts und Autoscaling im Alltag

Ein praktisches Problem taucht spätestens beim Skalieren auf: Modellgewichte sind riesig, von wenigen Gigabyte bis weit über hundert. Startet ein neuer Server-Knoten, muss er diese Gewichte erst laden – der berüchtigte Kaltstart, der Minuten dauern kann. Wer Lastspitzen automatisch abfangen will, stolpert genau hier.

Die bewährten Gegenmittel sind unspektakulär, aber wirksam: Gewichte einmal herunterladen und als geteiltes Volume in jeden Knoten einhängen, Container-Images schlank halten und das Laden per Streaming beschleunigen. So schrumpft der mehrminütige Kaltstart auf wenige Sekunden, und Autoscaling nach Anfragen pro Sekunde wird überhaupt erst praktikabel. Kombiniert mit einem KI-Gateway davor, das Anfragen verteilt, entsteht ein System, das mit der Last mitatmet, statt an ihr zu ersticken.

Was das für Ihr Budget bedeutet

Rechnen Sie nicht in Modellpreisen, sondern in Anfragen pro Sekunde pro Karte. Diese eine Kennzahl entscheidet, wie viele Nutzer eine Investition trägt. Continuous Batching und PagedAttention heben sie um ein Vielfaches, Quantisierung senkt gleichzeitig die nötige Hardware. Zusammen verschieben diese drei Techniken den Punkt, ab dem sich Eigenbetrieb gegenüber der Cloud rechnet, spürbar nach vorn.

Der Aufbau verlangt Sorgfalt, kein Zauberwerk. Die Bausteine sind quelloffen und ausgereift, die Fallstricke bekannt. Wer sie kennt, betreibt eigene KI zu Kosten, die vor zwei Jahren undenkbar waren – und behält die Daten im eigenen Haus.

Sie überlegen, ein Open-Weight-Modell im eigenen Rechenzentrum produktiv zu setzen, und wollen die Serving-Ebene von Anfang an richtig aufsetzen? Wir helfen Ihnen bei Auswahl, Benchmark und Betrieb Ihrer selbst-gehosteten KI. Sprechen Sie mit uns auf ai-designers.de.

Bilder: AI-Designed