Gemessen, nicht vorgeführt
Jede KI-Funktion kommt mit annotiertem Testset und einer Zahl. Ohne die ist „läuft gut" ein Gefühl.
Ein zypriotisches Produktstudio, das die Evaluation als Ergebnis behandelt und das Modell als Implementierungsdetail.
Mit einem Sprachmodell etwas Beeindruckendes zu bauen dauert einen Nachmittag. Zu wissen, ob es gut genug ist, um es jemandem vorzusetzen, dauert erheblich länger.
Die Demo ist einfach, weil die Demo kuratiert ist. Die Beispiele wurden ausgewählt, der Prompt darauf abgestimmt, die Fehlschläge nicht gezeigt. Alle, die in diesem Feld arbeiten, wissen das — und der Anreiz, darüber zu schweigen, ist beträchtlich.
Die ZORATHEN dreht die Reihenfolge um. Wir bauen das Testset vor der Funktion: einige hundert annotierte Fälle aus echten Daten, samt der unangenehmen. Danach ist eine Verbesserungsbehauptung eine Messung statt eines Eindrucks.
Das führt zu langsamer wirkenden Projekten — und zu erheblich weniger Systemen, die ein halbes Jahr später still zurückgezogen werden.
Werte hinzuschreiben kostet nichts. Diese hier kosten uns etwas, wenn wir uns daran halten.
Jede KI-Funktion kommt mit annotiertem Testset und einer Zahl. Ohne die ist „läuft gut" ein Gefühl.
Automatisierung ist nicht das Ziel; das richtige Ergebnis ist es. Wo ein Fehler eine Kundin erreichen würde, prüft ein Mensch.
Regeln, Formulare und bessere Daten schlagen ein Modell öfter, als der Markt zugibt. Wir sagen das — auf eigene Kosten.
Diana Oprea ist Geschäftsführerin der ZORATHEN LTD und entscheidet, was die Gesellschaft übernimmt.
Der Evaluation-zuerst-Ansatz ist ebenso eine kaufmännische wie eine technische Entscheidung: Er macht es leicht, ein Projekt ehrlich zu beenden, bevor es teuer wird.
Keine KI-Funktion geht live ohne eine Zahl, die man einem Skeptiker zeigen könnte.
Sagen Sie uns die Aufgabe und wie sie heute erledigt wird. Lautet die Antwort, dass Sie dafür kein Modell brauchen, hören Sie genau das.