EnglishAI-Designers
Das leistungsstärkste offene KI-Modell, das Sie heute auf eigener Hardware betreiben können, hat über eine Billion Parameter. Pro Wort, das es schreibt, rechnet es aber nur mit einem kleinen Bruchteil davon. Dieser scheinbare Widerspruch trägt einen Namen: Mixture of Experts, kurz MoE. Er erklärt, warum die Inferenzkosten für große Modelle in den letzten zwei Jahren so stark gefallen sind – und warum Sie beim Selbst-Hosten trotzdem aufpassen müssen.
Wer 2026 ein Flaggschiff-Modell auf eigenen Servern einsetzt, kommt an dieser Architektur nicht vorbei. DeepSeek, Kimi, Qwen, Mistral, die offenen Modelle von OpenAI – sie alle setzen auf MoE. Es lohnt sich, zu verstehen, was dahintersteckt. Denn die Architektur verschiebt die Kosten dorthin, wo viele Teams sie zuerst übersehen.
Was Mixture of Experts im Kern bedeutet
Ein klassisches Sprachmodell schickt jedes Token durch alle seine Gewichte. Hat das Modell 70 Milliarden Parameter, rechnet es bei jedem einzelnen Wort mit allen 70 Milliarden. Das ist gründlich, aber teuer. Jedes Prozent mehr Qualität kostet Sie linear mehr Rechenzeit.
MoE bricht mit dieser Regel. Statt eines einzigen großen Netzes enthält das Modell viele kleinere Teilnetze, die sogenannten Experten. Ein Router entscheidet für jedes Token, welche zwei oder vier Experten es bearbeiten. Der Rest bleibt stumm. DeepSeek-V3 etwa trägt 671 Milliarden Parameter, aktiviert pro Token aber nur rund 37 Milliarden – gut fünf Prozent. Kimi K2.6 kommt auf eine Billion Parameter und rechnet pro Durchlauf mit etwa 32 Milliarden.
Der Effekt: Sie bekommen das Wissen eines riesigen Modells, zahlen bei der Rechenlast aber nur für ein mittelgroßes. Das Modell spezialisiert sich intern, ohne dass Sie bei jedem Wort den vollen Preis zahlen.
Warum das Ihre Inferenzkosten senkt
Rechenzeit auf der GPU ist der Posten, der Ihre Betriebskosten treibt. Weniger aktive Parameter bedeuten weniger Fließkommaoperationen pro Token, kürzere Antwortzeiten und mehr Anfragen, die eine Karte parallel bedient. Genau hier zahlt MoE sich aus.
Ein Beispiel aus dem Alltag: Ein Support-Assistent beantwortet Kundenanfragen rund um die Uhr. Mit einem dichten 70-Milliarden-Modell lastet jede Anfrage Ihre GPUs voll aus. Ein MoE-Modell vergleichbarer Antwortqualität rechnet pro Token mit deutlich weniger Gewichten – Sie bedienen mehr Nutzer gleichzeitig auf derselben Hardware. Bei gleichbleibendem Serverpark steigt der Durchsatz, oder Sie kommen mit weniger Karten aus.
Auch beim Training zeigt sich der Vorteil, wenngleich das für die meisten Unternehmen zweitrangig ist. Entscheidend für Sie im Betrieb bleibt: Die laufenden Kosten pro beantworteter Anfrage sinken, ohne dass die Qualität leidet. Das ist der Grund, warum die Preise für offene Spitzenmodelle so gefallen sind.
Der Haken: MoE frisst Speicher, nicht Rechenzeit
Hier liegt die Falle, in die viele Teams beim ersten Mal tappen. MoE spart Rechenzeit – aber nicht Speicher. Der Router wählt zwar nur wenige Experten pro Token, doch er muss jederzeit auf alle zugreifen können. Also müssen alle Experten gleichzeitig im GPU-Speicher liegen.
Das heißt konkret: Ein Modell mit einer Billion Parameter braucht den Arbeitsspeicher für eine Billion Parameter, auch wenn es pro Token nur drei Prozent davon nutzt. DeepSeek-R1 belegt in FP8-Quantisierung rund 800 Gigabyte GPU-Speicher. Wer das lokal betreiben will, braucht einen Server mit mindestens acht H200-Karten. Die Rechenlast ist moderat, die Speicheranforderung dagegen gewaltig.
Für den API-Betrieb großer Anbieter ist das kein Problem, weil sich die Speicherkosten über tausende gleichzeitige Anfragen verteilen. Beim Selbst-Hosten mit überschaubarem Durchsatz kehrt sich die Rechnung um: Sie bezahlen teuren High-End-Speicher, den Sie nie voll auslasten. Prüfen Sie diesen Punkt, bevor Sie sich für ein Billionen-Parameter-Modell entscheiden.
Welches MoE-Modell zu welcher Hardware passt
Die gute Nachricht: Sie müssen nicht gleich zum Kimi K3 mit 2,78 Billionen Parametern greifen. Das Feld reicht von Giganten bis zu Modellen, die auf zwei Karten laufen. DeepSeek V4-Flash und Mistral Small 4 bringen nahezu frontnahe Qualität auf Zwei-GPU-Systeme. Für viele Fachanwendungen reicht das völlig.
Stellen Sie die Frage andersherum. Nicht: Welches ist das stärkste Modell? Sondern: Welche Antwortqualität braucht mein Anwendungsfall tatsächlich, und welcher Speicher steht mir zur Verfügung? Ein MoE-Modell, das knapp auf Ihre Karten passt, bringt Ihnen mehr als ein größeres, das ständig auslagern muss und dadurch langsam wird.
Rechnen Sie den Speicherbedarf vorab durch. Multiplizieren Sie die Gesamtzahl der Parameter mit der Bytezahl Ihrer Quantisierung – ein FP8-Gewicht belegt ein Byte, ein Vier-Bit-Gewicht ein halbes. Dazu addieren Sie Reserve für den Kontext-Cache. Erst wenn diese Summe komfortabel in Ihren Speicher passt, lohnt sich das Modell im Dauerbetrieb.
Quantisierung als Hebel
Weil Speicher bei MoE der Engpass ist, wird Quantisierung zum wichtigsten Stellhebel. Jedes Gewicht in geringerer Genauigkeit abzulegen – statt sechzehn nur acht oder vier Bit – halbiert oder viertelt den Speicherbedarf. Aus 800 Gigabyte in FP8 werden rund 400 Gigabyte in Vier-Bit-Quantisierung.
Der Qualitätsverlust bleibt bei modernen Verfahren meist gering, solange Sie nicht zu aggressiv komprimieren. Vier Bit ist für viele Unternehmensaufgaben ein vernünftiger Kompromiss. Testen Sie aber mit Ihren eigenen Daten, statt sich auf allgemeine Benchmarks zu verlassen. Ein Modell, das auf Englisch glänzt, kann bei deutschen Fachtexten nach starker Quantisierung spürbar nachlassen.
Kombinieren Sie Quantisierung mit der MoE-Eigenschaft, und das Bild wird attraktiv: Ein Billionen-Parameter-Modell, auf vier Bit komprimiert, läuft plötzlich auf einem einzelnen gut ausgestatteten Server statt auf einem ganzen Rack. Für mittelständische Budgets macht das den Unterschied zwischen machbar und unbezahlbar.
Was das für Ihre KI-Strategie heißt
MoE ist kein Modetrend, sondern die Standardarchitektur für offene Spitzenmodelle geworden. Wer heute eine KI-Infrastruktur plant, sollte die Logik verstehen: Qualität kommt aus der Breite vieler Experten, Geschwindigkeit aus der sparsamen Aktivierung, die Kosten stecken im Speicher.
Übersetzen Sie das in Ihre Beschaffung. Investieren Sie bei MoE nicht in die schnellsten Recheneinheiten, sondern in Karten mit viel Speicher und hoher Speicherbandbreite. Ein System, das auf reine Rechenleistung ausgelegt ist, läuft bei MoE schnell ins Leere, weil es die Modelle gar nicht erst laden kann.
Und planen Sie den Durchsatz realistisch. MoE spielt seine Stärke dort aus, wo viele Anfragen gleichzeitig laufen. Betreiben Sie ein riesiges Modell für eine Handvoll täglicher Abfragen, verschenken Sie Geld. Dann ist ein kleineres, dichtes Modell oder ein mittelgroßes MoE die klügere Wahl.
Die Entscheidung für die richtige Architektur, die passende Hardware und eine saubere Quantisierung ist selten offensichtlich – und teuer, wenn man sie falsch trifft. Wenn Sie Ihre KI-Infrastruktur auf eigene Server holen und dabei Modell, Speicher und Kosten sauber aufeinander abstimmen wollen, unterstützt Sie das Team von AI-Designers von der Auswahl bis zum produktiven Betrieb.
Bilder: AI-Designed