Ihr Team vertraut der KI. Aber stimmen die Antworten?

Wer fragt, kennt die Antwort nicht. Darum sieht niemand die Fehler. Wir messen, wie oft Ihr KI-Assistent richtig liegt, finden den Schritt, der bricht, und prüfen jeden Monat nach.

Für KI-Assistenten im Pilot oder in Produktion. Festpreis, vor dem Start vereinbart.

Ihr Team fragtWie lange wurde das neue Medikament an Patienten getestet?

Ihr KI-Assistent18 Tage. Quelle: Bewertungsbericht, Seite 58.

Auf der Seite steht Day 182. Das sind etwa sechs Monate, nicht knapp drei Wochen. Beim Einlesen des PDFs wurde „Day 182“ zerschnitten: in „Day 18“ und „2“. Der Text sieht normal aus. Darum bemerkt niemand den Fehler.
Illustration. Die kaputte Seite ist echt: ein EMA-Dokument.

Ihre KI arbeitet in 5 Phasen, bevor sie antwortet. Eine davon bricht.

Jede Phase kann für sich brechen. Deshalb testen wir jede für sich: mit Vektorsuche, Graph oder Agent.

  1. 1

    Sammeln

    Dokumente holen
    • Crawl
    • SharePoint
    • Upload

    Seiten fehlen, oder alte Fassungen liegen neben neuen.

    So testen wir
    Wir vergleichen, was passt
    Quellen, Crawl-Regeln und Wege, eine Seite abzurufen
    Wir messen
    Welche relevanten Seiten ankommen, und welcher Abruf den saubersten Text liefert

    Noch keine öffentliche Zahl. Wir messen es auf Ihren Daten.

  2. 2

    Einlesen

    Dateien in Text umwandelndiese Phase ist im Beispiel oben gebrochenBricht im Beispiel
    • PDF
    • Scans
    • Office

    Tabellen zerfallen: aus „Day 182“ wird „Day 18“.

    So testen wir
    Wir vergleichen, was passt
    Die Parser, die zu Ihren Dokumenten und Regeln passen: kostenlose Werkzeuge, Cloud-Dienste oder KI-Modelle
    Wir messen
    Blinde KI-Richter: Kann eine KI den Text nutzen, und ist er eine treue Kopie der Seite?
    79 % vs 19 %Nutzbare Tabellenseiten in unserem Referenztest: bester Parser gegen einen kostenlosenDer Test mit 13 Parsern →
  3. 3

    Aufbereiten

    Durchsuchbar machen
    • Bereinigen
    • Zerteilen
    • Embedding
    • oder
    • Wissensgraph
    • Ontologie

    Kopfzeilen werden zu eigenen Stücken, oder ein Fakt wird von seiner Überschrift getrennt.

    So testen wir
    Wir vergleichen, was passt
    Bereinigungsregeln, Stückgröße und Schnittregeln, Embedding-Modelle, oder wie der Graph gebaut wird
    Wir messen
    Liegt jede bekannte Antwort ganz in einem Stück oder Knoten?
    149 → 178Gefundene Überschriften in zehn Dokumenten, nach einer BereinigungsregelDrei Beispiele →
  4. 4

    Suchen

    Die richtige Stelle finden
    • Stichwort
    • Vektor
    • Reranker
    • oder
    • Graph-Suche
    • Agent

    Die richtige Stelle ist im Index, aber nicht unter den ersten 10.

    So testen wir
    Wir vergleichen, was passt
    Stichwort, Vektor, Graph oder Agent; Embedding-Modelle; Reranker
    Wir messen
    Recall, MRR und nDCG auf Ihren Testfragen. So funktionieren sie →
    55 % → 70 %Richtige Quelle unter den ersten 10: beide Suchen gegen nur StichwortDrei Suchergebnisse →
  5. 5

    Antworten

    Die Antwort schreiben
    • Modell
    • Prompt
    • Quellen

    Die richtige Stelle wurde gefunden, aber die Antwort lässt etwas weg oder nennt die falsche Quelle.

    So testen wir
    Wir vergleichen, was passt
    KI-Modelle, Prompts, und wie der gefundene Text an das Modell geht
    Wir messen
    Gibt es jede genannte Quelle, und sagt sie, was die Antwort behauptet? Welche von zwei Antworten ist besser, blind bewertet?

    Noch keine öffentliche Zahl. Wir messen es auf Ihren Daten.

Im Beispiel oben ist Phase 2 gebrochen. Ein besseres KI-Modell hilft da nicht.

Wie wir die Suche messen1 Überhaupt gefunden?2 Weit oben?3 Wirklich nützlich?So funktioniert es →

Kundenprojekt · regionaler Energiedienstleister

KI-Assistent für Mitarbeitende

Rund 70.000 Seiten aus 8 Quellen: Prozesshandbücher, Gesetze und BDEW-Dokumente. Die Antworten lagen fest bei 51 %. Wir haben jeden Schritt einzeln gemessen und die Ursache in der Suche gefunden. Zwei Korrekturen haben die Antworten verbessert.

39 %78 %Richtige Quelle unter den ersten 10 Suchtreffern
51 %90 %Antworten, die Mitarbeitende als hilfreich bewerten
~90 TageGesparte Arbeitszeit in 8 Monaten, geschätzt. Über 4 Monate Arbeit einer Person.
Suche: rund 90 Testfragen mit bekannter Antwort. Bewertungen: 1.133 von 97 Mitarbeitenden. Zeit: 4.380 Fragen in 8 Monaten × 10 Minuten = 730 h, geschätzt; 8 h pro Arbeitstag.

Wir prüfen Ihre KI. Nicht einmal, sondern jeden Monat.

Dokumente ändern sich. Neue Modelle kommen. Wir richten einen Prüfstand für Ihr System ein. Er prüft jeden Monat, ob die Antworten gut bleiben.

So arbeiten wir: 3 Schritte
  1. Schritt 1 · 2 Wochen

    Parsing-Check

    Kommen Ihre Dokumente heil bei der KI an?

    Sie bekommenKorpus-Report, Fehlerquote je Dokumenttyp, der passende Parser
    • Den Korpus-Report: wie Ihre Dokumente aussehen, nach Typ
    • Die Fehlerquote je Dokumenttyp, mit echten Beispielen aus Ihren Dateien
    • Welcher Parser zu Ihren Dokumenten und Ihren Regeln passt
    • Eine klare Antwort: Liegt Ihr Problem beim Einlesen oder nicht?

    Immer der Start. Auch allein buchbar. Festpreis. Wir brauchen nur Lesezugriff.

  2. Schritt 2 · 6–8 Wochen

    Einrichtung

    Wie gut ist Ihre KI, Schritt für Schritt?

    Sie bekommenGoldstandard, jeder Schritt gemessen, Maßnahmenplan und Auditbericht
    • Einen Goldstandard: Testfragen mit belegten Antworten. Er gehört Ihnen.
    • Jeden Schritt einzeln gemessen: Einlesen, Zerteilen, Suche, Ranking, Antwort
    • Ihr System im Vergleich zu den Alternativen, die Sie nutzen dürfen
    • Beratung zu Datenbank, Suche, Reranker und Embedding-Modell
    • Einen Maßnahmenplan mit Kosten und einen Auditbericht für QM und Prüfstellen

    Festpreis. Der Preis von Schritt 1 wird voll angerechnet.

  3. Optional · nach Schritt 2

    Umsetzung

    Wir bauen die Maßnahmen aus dem Plan in Ihr System ein.

    Sie bekommenMaßnahmen eingebaut, Trefferquote vorher und nachher, Prüfstand als CI-Gate
    • Die Maßnahmen aus dem Plan, in Ihr System eingebaut
    • Die Trefferquote vorher und nachher, gegen ein vorab vereinbartes Ziel
    • Den Prüfstand, bei jeder Änderung neu gelaufen, auch als CI-Gate

    Festpreis nach dem Audit. Sie betreiben das System weiter.

  4. Schritt 3 · jeden Monat

    Laufende Prüfung

    Bleibt Ihre KI gut, wenn sich Dokumente und Modelle ändern?

    Sie bekommenPrüfstand mit Warnung, neue Modelle getestet, Bericht pro Quartal
    • Der Prüfstand läuft jeden Monat und bei jeder Änderung. Sie bekommen eine Warnung, wenn die Qualität sinkt.
    • Neue Modelle, getestet auf Ihren Daten, mit einer klaren Antwort: wechseln oder bleiben.
    • Ein kurzer Qualitätsbericht pro Quartal, für QM und Prüfer.
    • Bis zu einem Tag pro Monat für Fragen und kleine Korrekturen.

    Je 3 Monate, verlängert sich um je 3 Monate. Sie betreiben das System, wir messen und beraten.

Ihre Wahl
Das bleibt bei Ihnen
  • Korpus-ReportFehlerquote je Dokumenttyp
  • GoldstandardTestfragen mit belegten Antworten
  • Prüfstandbei jeder Änderung neu, auch als CI-Gate
  • Auditberichtfür QM, Prüfstellen und den EU AI Act

Läuft in Ihrer Infrastruktur, in der EU. Kein Lock-in.

30-Minuten-Gespräch anfragenDer Preis hängt vom Umfang ab. Wir vereinbaren vor dem Start einen Festpreis.

✓ Passt: System im Pilot oder in Produktion · Pharma, Medizinprodukte, Energie, Finanzen, Versicherungen

✗ Passt nicht: erste Demo · wir sollen das System betreiben

Benchmarks geben Hinweise. Ihre Daten treffen die Wahl.

Ein öffentlicher Benchmark testet fremde Dokumente. Neue Modelle fehlen dort oft noch. Ob ein Modell mit Ihren Dokumenten funktioniert, zeigt nur ein Test mit Ihren.

  1. 40Modelle und Parser am Markt
  2. Öffentlicher Benchmarkfremde Dokumente, meist Englisch
  3. 4auf der Shortlist, auch neue Modelle ohne Benchmark
  4. WindtunnelIhre Dokumente, Ihre Fragen, Ihre Sprache
  5. 1die passt zu Ihren Dokumenten

Das Ergebnis ist nicht eine Zahl, sondern pro Stufe: Wie oft wird die richtige Stelle gefunden, was kostet es, wie schnell ist es.

Das beste Werkzeug, das Sie nutzen dürfen

Ein Benchmark-Sieger hilft nicht, wenn Ihre Daten die EU nicht verlassen dürfen oder nur Azure freigegeben ist. Wir beginnen mit Ihren Regeln und messen dann, was übrig bleibt, auf Ihren Dokumenten.

Vektordatenbank

turbopuffer, Qdrant, pgvector oder Azure AI Search. Gewählt nach Größe, Kosten und wo sie laufen darf.

Suche

Stichwort, Vektor oder beides, und wie die Ergebnisse zusammenkommen.

Reranker

Welcher, und ob er seine Kosten und Wartezeit wert ist.

Embedding-Modell

Gehostet oder auf Ihren Servern, und in welcher Region.

Häufige Fragen

Was kostet das?

Jeder Schritt hat einen Festpreis. Er hängt vom Umfang ab, also von Dokumenten, Quellen und Fragen. Wir vereinbaren ihn vor dem Start. Den Preis von Schritt 1 rechnen wir auf Schritt 2 an.

Verlassen unsere Daten die EU? Brauchen Sie Schreibzugriff?

Nein. Der Prüfstand läuft in Ihrer Infrastruktur, in der EU. Wir nutzen nur Dienste, die Sie freigeben. Für Schritt 1 brauchen wir nur Lesezugriff auf die Dokumente.

Wie viel Zeit braucht unser Team?

Vor allem Ihre Fachleute: Sie prüfen Testfragen und Antworten für den Goldstandard. Alles andere machen wir. Den Aufwand für Ihr Team nennen wir vor dem Start im Angebot.

Wir nutzen schon Ragas, Langfuse oder ein anderes Eval-Tool. Brauchen wir Sie trotzdem?

Diese Werkzeuge messen meist das Ergebnis am Ende. Wir messen jeden Schritt einzeln und vergleichen Alternativen auf Ihren Dokumenten. So sehen Sie, welcher Schritt bricht und was ihn repariert. Ihre vorhandenen Testfragen nutzen wir gern weiter.

Funktioniert das mit unserer Cloud und unserer Vektordatenbank?

Ja. Wir arbeiten mit Ihrer Cloud (Azure, AWS, Google, STACKIT oder IONOS) oder On-Prem auf Ihren eigenen Servern. Zum Beispiel mit turbopuffer, Qdrant, pgvector oder Azure AI Search. Wir beginnen mit Ihren Regeln und testen nur, was Sie nutzen dürfen.

Können wir nach Schritt 2 aufhören?

Ja. Prüfstand, Goldstandard und Berichte gehören Ihnen, und Sie können sie selbst weiter nutzen. Die laufende Prüfung sorgt dafür, dass jemand sie jeden Monat ausführt, neue Modelle testet und Ihnen sagt, wenn die Qualität sinkt.

Was passiert nach 3 Monaten? Können wir kündigen?

Die laufende Prüfung verlängert sich um je 3 Monate. Sie können zum Ende jeder Laufzeit kündigen. Goldstandard, Prüfstand und Berichte bleiben bei Ihnen.

Hilft das beim EU AI Act?

Es liefert Belege: Testfragen mit belegten Antworten, Messungen pro Schritt und einen Auditbericht für QM und Prüfstellen. Das brauchen Sie für Dokumentation und Nachweise. Es ersetzt keine Rechtsberatung.

Tim Treskatis

Tim Treskatis

Windtunnel, Berlin. Ich baue und evaluiere KI-Assistenten und Agenten auf Unternehmenswissen, auch unter MDR-Anforderungen. Mit schwierigen Dokumenten: Tabellen, Scans und regulatorische Unterlagen.

Rund 8 Jahre Data und ML, davon 5 Jahre Enterprise-Beratung, u. a. für Airbus, Lufthansa, Deutsche Bahn und Hapag-Lloyd.

Der Name kommt aus meinem Studium der Luft- und Raumfahrttechnik an der KTH Stockholm: Dort testet man im Windkanal, bevor man fliegt.

30-Minuten-Gespräch anfragen

Keine Folien. Keine Demo. Fünf Fragen zu Ihrem System und eine ehrliche Antwort, ob es passt:

  • Eine Note pro Schritt?
  • Wie oft wird die richtige Stelle gefunden?
  • Wo geht die Antwort verloren?
  • Wie sehen Ihre PDFs nach dem Einlesen aus?
  • Können Sie eine Antwort einem Auditor belegen?
30-Minuten-Gespräch anfragen
Läuft Ihr System produktiv?

Nur für die Antwort genutzt. Kein Newsletter. Kein Tracking. Datenschutz

Gespräch anfragen