Wer fragt, kennt die Antwort nicht. Darum sieht niemand die Fehler. Wir messen, wie oft Ihr KI-Assistent richtig liegt, finden den Schritt, der bricht, und prüfen jeden Monat nach.
Für KI-Assistenten im Pilot oder in Produktion. Festpreis, vor dem Start vereinbart.
Ihr Team fragtWie lange wurde das neue Medikament an Patienten getestet?
Ihr KI-Assistent18 Tage. Quelle: Bewertungsbericht, Seite 58.
Jede Phase kann für sich brechen. Deshalb testen wir jede für sich: mit Vektorsuche, Graph oder Agent.
Seiten fehlen, oder alte Fassungen liegen neben neuen.
Noch keine öffentliche Zahl. Wir messen es auf Ihren Daten.
Tabellen zerfallen: aus „Day 182“ wird „Day 18“.
Kopfzeilen werden zu eigenen Stücken, oder ein Fakt wird von seiner Überschrift getrennt.
Die richtige Stelle ist im Index, aber nicht unter den ersten 10.
Die richtige Stelle wurde gefunden, aber die Antwort lässt etwas weg oder nennt die falsche Quelle.
Noch keine öffentliche Zahl. Wir messen es auf Ihren Daten.
Im Beispiel oben ist Phase 2 gebrochen. Ein besseres KI-Modell hilft da nicht.
Wie wir die Suche messen1 Überhaupt gefunden?2 Weit oben?3 Wirklich nützlich?So funktioniert es →
KI-Assistent für Mitarbeitende
Rund 70.000 Seiten aus 8 Quellen: Prozesshandbücher, Gesetze und BDEW-Dokumente. Die Antworten lagen fest bei 51 %. Wir haben jeden Schritt einzeln gemessen und die Ursache in der Suche gefunden. Zwei Korrekturen haben die Antworten verbessert.
Dokumente ändern sich. Neue Modelle kommen. Wir richten einen Prüfstand für Ihr System ein. Er prüft jeden Monat, ob die Antworten gut bleiben.
Kommen Ihre Dokumente heil bei der KI an?
Immer der Start. Auch allein buchbar. Festpreis. Wir brauchen nur Lesezugriff.
Wie gut ist Ihre KI, Schritt für Schritt?
Festpreis. Der Preis von Schritt 1 wird voll angerechnet.
Wir bauen die Maßnahmen aus dem Plan in Ihr System ein.
Festpreis nach dem Audit. Sie betreiben das System weiter.
Bleibt Ihre KI gut, wenn sich Dokumente und Modelle ändern?
Je 3 Monate, verlängert sich um je 3 Monate. Sie betreiben das System, wir messen und beraten.
Läuft in Ihrer Infrastruktur, in der EU. Kein Lock-in.
✓ Passt: System im Pilot oder in Produktion · Pharma, Medizinprodukte, Energie, Finanzen, Versicherungen
✗ Passt nicht: erste Demo · wir sollen das System betreiben
Ein öffentlicher Benchmark testet fremde Dokumente. Neue Modelle fehlen dort oft noch. Ob ein Modell mit Ihren Dokumenten funktioniert, zeigt nur ein Test mit Ihren.
Das Ergebnis ist nicht eine Zahl, sondern pro Stufe: Wie oft wird die richtige Stelle gefunden, was kostet es, wie schnell ist es.
Ein Benchmark-Sieger hilft nicht, wenn Ihre Daten die EU nicht verlassen dürfen oder nur Azure freigegeben ist. Wir beginnen mit Ihren Regeln und messen dann, was übrig bleibt, auf Ihren Dokumenten.
turbopuffer, Qdrant, pgvector oder Azure AI Search. Gewählt nach Größe, Kosten und wo sie laufen darf.
Stichwort, Vektor oder beides, und wie die Ergebnisse zusammenkommen.
Welcher, und ob er seine Kosten und Wartezeit wert ist.
Gehostet oder auf Ihren Servern, und in welcher Region.
Jeder Schritt hat einen Festpreis. Er hängt vom Umfang ab, also von Dokumenten, Quellen und Fragen. Wir vereinbaren ihn vor dem Start. Den Preis von Schritt 1 rechnen wir auf Schritt 2 an.
Nein. Der Prüfstand läuft in Ihrer Infrastruktur, in der EU. Wir nutzen nur Dienste, die Sie freigeben. Für Schritt 1 brauchen wir nur Lesezugriff auf die Dokumente.
Vor allem Ihre Fachleute: Sie prüfen Testfragen und Antworten für den Goldstandard. Alles andere machen wir. Den Aufwand für Ihr Team nennen wir vor dem Start im Angebot.
Diese Werkzeuge messen meist das Ergebnis am Ende. Wir messen jeden Schritt einzeln und vergleichen Alternativen auf Ihren Dokumenten. So sehen Sie, welcher Schritt bricht und was ihn repariert. Ihre vorhandenen Testfragen nutzen wir gern weiter.
Ja. Wir arbeiten mit Ihrer Cloud (Azure, AWS, Google, STACKIT oder IONOS) oder On-Prem auf Ihren eigenen Servern. Zum Beispiel mit turbopuffer, Qdrant, pgvector oder Azure AI Search. Wir beginnen mit Ihren Regeln und testen nur, was Sie nutzen dürfen.
Ja. Prüfstand, Goldstandard und Berichte gehören Ihnen, und Sie können sie selbst weiter nutzen. Die laufende Prüfung sorgt dafür, dass jemand sie jeden Monat ausführt, neue Modelle testet und Ihnen sagt, wenn die Qualität sinkt.
Die laufende Prüfung verlängert sich um je 3 Monate. Sie können zum Ende jeder Laufzeit kündigen. Goldstandard, Prüfstand und Berichte bleiben bei Ihnen.
Es liefert Belege: Testfragen mit belegten Antworten, Messungen pro Schritt und einen Auditbericht für QM und Prüfstellen. Das brauchen Sie für Dokumentation und Nachweise. Es ersetzt keine Rechtsberatung.
Windtunnel, Berlin. Ich baue und evaluiere KI-Assistenten und Agenten auf Unternehmenswissen, auch unter MDR-Anforderungen. Mit schwierigen Dokumenten: Tabellen, Scans und regulatorische Unterlagen.
Rund 8 Jahre Data und ML, davon 5 Jahre Enterprise-Beratung, u. a. für Airbus, Lufthansa, Deutsche Bahn und Hapag-Lloyd.
Der Name kommt aus meinem Studium der Luft- und Raumfahrttechnik an der KTH Stockholm: Dort testet man im Windkanal, bevor man fliegt.
Keine Folien. Keine Demo. Fünf Fragen zu Ihrem System und eine ehrliche Antwort, ob es passt:
Oder per E-Mail [email protected]