Latest News

Prefill rechnet, Decode generiert – auf getrennten GPUs. So macht disaggregiertes Serving mit llm-d 1.0 selbst-gehostete KI günstiger und schneller.

Der KV-Cache entscheidet über Tempo und Kosten Ihrer selbst-gehosteten KI. So halten Sie ihn mit Offloading, Kompression und Prefix-Caching im Griff.

Visuelles RAG wie ColPali durchsucht PDFs als Bild statt per OCR – und findet Antworten in Tabellen, Diagrammen und Layouts, die Textparser verlieren.

Qdrant, Milvus oder pgvector: Wie Unternehmen eine Vektordatenbank im eigenen Haus betreiben – fuer schnelle, souveraene Suche ueber eigene Daten.

Mixture of Experts macht große KI-Modelle bezahlbar – weniger Rechenlast pro Token, aber hoher Speicherbedarf. Was das fürs Selbst-Hosting bedeutet.

Reasoning-Modelle denken mit, bevor sie antworten. Wann sich Test-Time Compute lohnt, wie Routing Kosten senkt und was On-Premise dabei bringt.

Eine Million Token Kontext klingt verlockend. Doch wann lohnt sich Long-Context-KI im Unternehmen – und wann bleibt RAG die bessere Wahl?