Für RAG-Systeme und Agenten auf Ihren Dokumenten. Meistens liegt der Fehler nicht im Sprachmodell, sondern davor: beim Einlesen und Zerteilen der Dokumente. Windtunnel testet jede Stufe auf Ihren Daten und zeigt, was Sie ändern müssen.
Für Systeme im Pilot oder in Produktion. Festpreise.
Was reinkommt
Tabellen, Spalten, Scans
Was rausfliegt
Wo der Text geschnitten wird
Welches Modell, welche Kosten
Fusioniert, gererankt, bewertet
11 Parser auf 22 tabellenlastigen EMA-Dokumenten. Jeder Parser bekommt zwei Noten:
Dazu: was es kostet und wie lange es dauert.
| Parser | Treue Kopie | Für eine KI nutzbar | € / 1.000 Seiten | Sekunden / Dok. |
|---|---|---|---|---|
| Mistral OCR | 82% | 73% | 3,43 € | 1,7 s |
| GPT-5.4 Vision + Textebene | 77% | 78% | 9,62 € | nicht gemessen |
| GPT-5.4 Vision | 70% | 77% | 8,53 € | nicht gemessen |
| Cohere Parse 5 | 63% | noch nicht bewertet | 1,29 € | 5,5 s |
| GPT-5.4 mini Vision | 58% | 65% | 2,56 € | 7,9 s |
| Azure AI Document Intelligence | 46% | 39% | 8,57 € | 5,3 s |
| pypdf | 43% | 40% | 0 €, läuft lokal | 0,2 s |
| anydoc | 40% | 48% | 0 €, läuft lokal | 0,1 s |
| Docling | 36% | 38% | 0 €, eigene GPU | 25,8 s |
| PyMuPDF4LLM | 19% | 19% | 0 €, läuft lokal | 2,1 s |
| pdfplumber | 15% | 23% | 0 €, läuft lokal | 0,5 s |
Anteil gewonnener blinder Direktvergleiche, bewertet von gpt-5.6-terra (5.359 Urteile über alle vier Seitentypen). Kosten zu Listenpreisen in Euro, auf diesem Set gemessen. Zeit pro Dokument, gemessen, wenn der Parser wirklich lief.
Für die Suche wird jedes Dokument in kleine Textstücke zerteilt. Vorher räumen wir es auf. Drei Beispiele aus einem Kundenprojekt mit regulierten Fachdokumenten:
Kopfzeilen und Seitenzahlen landen als eigene Mini-Stücke im Index.
Die Suche findet leere Schnipsel statt der Stelle mit der Antwort.
Schritt: Kopfzeilen und Seitenzahlen entfernen
Der Produktname oben auf jeder Seite wird für eine Überschrift gehalten.
Textstücke stehen unter der falschen Überschrift. Die KI ordnet eine Angabe dem falschen Abschnitt zu.
Schritt: Produktnamen nicht als Überschrift werten
Abschnittsüberschriften gehen beim Einlesen verloren.
Die KI weiß nicht, aus welchem Abschnitt eine Angabe stammt, und kann sie nicht belegen.
Schritt: Überschriften aus der offiziellen Nummerierung wiederherstellen
Jeder Schritt ist klein. Zusammen entscheiden sie, ob die KI die richtige Stelle findet. Windtunnel misst jeden Schritt einzeln. So sehen Sie, welcher sich lohnt.
Kleine Stichproben: ein Dokument für die ersten zwei Beispiele, zehn Dokumente desselben Typs für das dritte. Sie zeigen, was jede Prüfung findet, keinen Durchschnitt. Kunde und Dokumente werden nicht genannt.
Ein öffentlicher Benchmark testet fremde Dokumente. Ob ein Modell mit Ihren funktioniert, zeigt nur ein Test mit Ihren.
Das Ergebnis ist nicht eine Zahl, sondern pro Stufe: Wie oft wird die richtige Stelle gefunden, was kostet es, wie schnell ist es.
Struktur Ihres Bestands und Fehlerquote je Dokumenttyp, mit Beispielen.
Gelabelte Fragen mit Quellstellen. Er gehört Ihnen.
Bei jeder Änderung neu laufen lassen, auch als CI-Gate.
Methodik, Daten und Ergebnisse. Grundlage für Ihre Nachweise gegenüber QM, Prüfstellen und im Rahmen des EU AI Act.
Sie betreiben, wir messen und verbessern. Läuft in Ihrer Infrastruktur, in der EU. Kein Lock-in.
Kommen Ihre Dokumente heil im System an?
Wie gut antwortet Ihr Assistent, und was hilft am meisten?
Wir setzen die Maßnahmen um.
✓ Passt: System im Pilot oder in Produktion · Pharma, Medizinprodukte, Energie, Finanzen, Versicherungen
✗ Passt nicht: erste Demo · wir sollen das System betreiben
Windtunnel, Berlin. Ich baue und evaluiere KI-Assistenten und Agenten auf Unternehmenswissen, auch unter MDR-Anforderungen. Mit schwierigen Dokumenten: Tabellen, Scans und regulatorische Unterlagen.
Rund 8 Jahre Data und ML, davon 5 Jahre Enterprise-Beratung, u. a. für Airbus, Lufthansa, Deutsche Bahn und Hapag-Lloyd.
Der Name kommt aus meinem Studium der Luft- und Raumfahrttechnik an der KTH Stockholm: Dort testet man im Windkanal, bevor man fliegt.
Keine Folien. Keine Demo. Fünf Fragen zu Ihrem System und eine ehrliche Antwort, ob es passt.
Oder per E-Mail [email protected]