Dokumenten-RAG ohne OCR: KI sieht PDFs, statt sie zu lesen

Warum OCR an echten Dokumenten scheitert

Fragen Sie eine KI nach der Umsatzentwicklung im dritten Quartal, und sie antwortet aus einem Geschäftsbericht heraus falsch. Nicht, weil das Modell dumm wäre. Sondern weil die Zahl in einem Balkendiagramm steckt, und der OCR-Schritt davor hat das Diagramm in Textbrei verwandelt. Tabellen zerfallen in zusammenhanglose Zellen, Fußnoten rutschen mitten in Absätze, mehrspaltige Seiten werden zeilenweise durcheinandergewürfelt.

Klassisches Dokumenten-RAG arbeitet in zwei Schritten: Erst presst ein Parser das PDF in reinen Text, dann durchsucht das Retrieval diesen Text. Der Haken liegt im ersten Schritt. Verträge, technische Handbücher, Bilanzen, Produktdatenblätter – alles, was im Geschäftsalltag zählt, lebt von Layout. Die räumliche Anordnung trägt Bedeutung. Genau die wirft OCR weg, bevor die eigentliche Suche überhaupt beginnt.

Wer schon einmal versucht hat, eine gescannte Rechnung mit verschachtelten Positionszeilen sauber auszulesen, kennt das Problem. Die Fehler entstehen nicht beim Nachdenken, sondern beim Vorverarbeiten. Und sie sind schwer zu bemerken, weil die KI trotzdem flüssig antwortet – nur eben am Beleg vorbei.

Der Trick: Die Seite als Bild behandeln

Ein neuer Ansatz dreht die Reihenfolge um. Statt die Seite in Text zu zerlegen, rendert das System jede PDF-Seite als Bild und schickt sie durch ein Vision-Language-Modell. Das Modell zerteilt die Seite in viele kleine Kacheln, sogenannte Patches, und erzeugt für jede einen eigenen Vektor. Rund 1.000 solcher Patch-Vektoren beschreiben eine Seite – samt Diagrammen, Tabellenlinien und Spaltenstruktur.

Die Pionierarbeit trägt den Namen ColPali und stammt aus der Forschung von Illuin Technology. Der Clou: Es gibt keinen OCR-Schritt mehr, der etwas verlieren könnte. Das Modell sieht die Seite so, wie ein Mensch sie sieht. Eine Umsatzkurve bleibt eine Kurve, eine Preistabelle bleibt eine Tabelle, und die Position einer Fußnote bleibt erhalten.

Das klingt nach mehr Rechenaufwand, und das ist es auch. Aber es löst ein Problem an der Wurzel, statt hinterher mit immer ausgefeilteren Parsern dagegen anzukämpfen. Für Dokumente, bei denen eine falsche Zahl teuer wird, ist dieser Tausch oft die bessere Wahl.

Late Interaction: Suchen auf Patch-Ebene

Normales Vektor-RAG quetscht eine ganze Seite in einen einzigen Vektor. Das ist sparsam, aber grob – Details verschwinden im Durchschnitt. Visuelles RAG geht einen anderen Weg und behält alle Patch-Vektoren. Beim Suchen vergleicht das System jeden Begriff der Frage mit jeder Kachel der Seite und nimmt jeweils die beste Übereinstimmung. Fachleute nennen das MaxSim, der Mechanismus dahinter heißt Late Interaction.

Der Vorteil zeigt sich bei Fragen zu Abbildungen und Tabellen. Sucht jemand den Wert aus einem bestimmten Diagramm, findet das Verfahren genau die Bildregion, in der dieser Wert steht – nicht nur die Seite, auf der er ungefähr vorkommt. Diese Feinkörnigkeit macht den Unterschied zwischen einer Antwort, die auf den Beleg zeigt, und einer, die ihn verfehlt.

Welche Modelle infrage kommen

Die Auswahl ist größer, als viele denken, und sie ist quelloffen. ColPali selbst baut auf PaliGemma auf. Die Varianten ColQwen2 und ColQwen2.5 nutzen die Qwen-Vision-Modelle und schlagen sich spürbar besser bei mehrsprachigen Dokumenten – relevant für jeden, der deutsche und englische Unterlagen im selben Bestand hat. Für knappe Budgets gibt es ColSmol mit 256 und 500 Millionen Parametern, das auf deutlich kleinerer Hardware läuft.

Daneben steht Nomic Embed Multimodal mit offenen Gewichten, sowohl in der klassischen Ein-Vektor-Form als auch als Multi-Vektor-Variante ColNomic bis sieben Milliarden Parameter. Alle diese Modelle lassen sich on-premise betreiben. Das ist kein Detail: Wer radiologische Befunde, Personalakten oder Vertragsentwürfe durchsuchbar machen will, kann die Dokumente gar nicht erst an eine fremde Cloud geben.

Welches Modell passt, hängt vom Bestand ab. Englische Finanzdokumente stellen andere Anforderungen als technische Zeichnungen oder mehrsprachige Handbücher. Testen Sie zwei, drei Kandidaten an Ihren eigenen Beispielseiten, bevor Sie sich festlegen – die Rangfolge aus Benchmarks sagt wenig über Ihre konkreten Unterlagen.

Was es kostet – und wie Sie sparen

Tausend Vektoren pro Seite statt einem: Das schlägt sich im Speicher nieder. Wo eine Ein-Vektor-Lösung für zehn Millionen Seiten mit zweistelligen Gigabyte auskommt, landet der Multi-Vektor-Ansatz im einstelligen Terabyte-Bereich. Das ist handhabbar, will aber eingeplant werden.

Es gibt einen eleganten Hebel. Mit Matryoshka-Embeddings lässt sich die Vektorlänge von 1.024 auf 256 Dimensionen kürzen. Das viertelt den Speicherbedarf und kostet laut den Entwicklern unter zwei Prozent an Trefferqualität. Ein zweiter Trick spart Rechenzeit bei der Suche: Erst grob mit gemittelten Vektoren vorfiltern, dann nur die besten 50 bis 100 Seiten mit dem vollen MaxSim nachbewerten. So zahlen Sie den teuren Vergleich nur dort, wo er sich lohnt.

Bei der Vektordatenbank lohnt ein zweiter Blick. Vespa unterstützt Late Interaction nativ und ist auf dieses Muster zugeschnitten. OpenSearch kann parallele Text- und Bildfelder mit HNSW-Indexierung, braucht für echtes MaxSim aber eine eigene Scoring-Logik. Die Wahl der Datenbank entscheidet mit darüber, wie viel Eigenbau auf Sie zukommt.

Wo sich der Aufwand lohnt

Nicht jedes Dokument braucht diesen Apparat. Eine Sammlung schlichter Textmemos fährt mit klassischem RAG günstiger. Visuelles RAG spielt seine Stärke dort aus, wo Struktur und Bild die eigentliche Information tragen.

• Finanzberichte: Umsatzkurven, Segmentübersichten und fußnotenschwere Tabellen, bei denen die präzise Fundstelle zählt.
• Technische Dokumentation: Schaltpläne, R&I-Fließbilder und CAD-Screenshots, in denen die Anordnung selbst die Aussage ist.
• Medizinische Unterlagen: eingebettete Aufnahmen und annotierte Befunde – fast immer on-premise, weil Patientendaten das Haus nicht verlassen dürfen.
• Produktkataloge: visuelle Ähnlichkeitssuche über Abbildungen hinweg, nicht nur über Artikelbeschreibungen.

Die Faustregel ist einfach: Je teurer eine falsche Antwort, desto eher rechtfertigt sich der Mehraufwand. Bei einer juristischen Due Diligence oder einer Compliance-Prüfung wiegt ein übersehener Passus schwerer als ein paar Terabyte Speicher und etwas mehr GPU-Zeit.

Wann sich der Umstieg lohnt

Steigen Sie nicht mit dem gesamten Archiv ein. Nehmen Sie die eine Dokumentklasse, an der Ihr bestehendes RAG regelmäßig scheitert – meist sind das die tabellen- und diagrammlastigen Seiten. Richten Sie dafür einen kleinen visuellen Index ein, stellen Sie zwanzig echte Fragen aus dem Arbeitsalltag und vergleichen Sie die Antworten direkt mit Ihrer jetzigen Lösung.

So sehen Sie schnell, ob sich der Aufwand trägt, ohne die Infrastruktur umzubauen. Visuelles RAG ist kein Ersatz für alles, sondern das richtige Werkzeug für die Dokumente, an denen Textparser kapitulieren. Für genau diese Fälle schließt es eine Lücke, die lange offen war.

Sie wollen prüfen, ob Ihre Dokumentenbestände von visuellem RAG profitieren, oder eine on-premise-Lösung für Ihr Unternehmen aufsetzen? Sprechen Sie mit uns bei AI-Designers – wir finden gemeinsam heraus, welcher Ansatz zu Ihren Unterlagen und Ihren Datenschutzanforderungen passt.

Bilder: AI-Designed