Modell-Messung · Pilot
Zahlen, die man nachrechnen kann.
Ranglisten im Netz sind Momentaufnahmen mit unbekannten Einstellungen. Wir messen dein Modell oder deinen Endpunkt mit offenen Aufgaben, festen Einstellungen und genug Stichproben, damit ein Unterschied ein Unterschied ist — und legen jede Zahl mit ihrer Lauf-ID offen.
So funktioniert es
Die Technik dahinter, ohne Marketingnebel.
Programmieren wird an Unit-Tests gemessen, Mathematik an exakt vergleichbaren Endergebnissen, das Befolgen von Anweisungen an automatisch prüfbaren Vorgaben. Wo immer möglich entscheidet ein Prüfprogramm, nicht ein anderes Modell.
Temperatur, Prompt-Vorlage, Antwortlänge und Werkzeuge sind je Lauf festgehalten. Zwei Messungen vergleichen wir nur, wenn sie unter denselben Bedingungen entstanden sind.
Jede Quote trägt ihre Stichprobengrösse und ein Vertrauensintervall. Bei hundert Aufgaben ist ein Abstand von wenigen Prozentpunkten oft Rauschen — wir sagen das dazu.
Quantisierung, Feinabstimmung, ein neuer Anbieter: dieselbe Suite vor und nach der Änderung zeigt, was sie kostet oder bringt.
Das Forschungsfeld: Evaluationswissenschaft
Die Messung von LLMs ist selbst ein Forschungsgebiet geworden. Benchmarks sättigen, sobald Modelle sie auswendig kennen — Aufgaben können in Trainingsdaten gelangen (Kontamination), und eine hohe Punktzahl sagt dann wenig über echtes Können.
Modelle als Richter sind bequem, aber voreingenommen: sie bevorzugen längere Antworten, ihre eigene Formulierung und die erste Option. Verlässliche Evaluation kombiniert deshalb prüfbare Aufgaben, genug Stichproben und eine klare Trennung zwischen dem, was gemessen, und dem, was geschätzt wurde.
Offene Fragen
- Wie wenige Aufgaben genügen, um eine Rangfolge auf tausenden vorherzusagen?
- Wie erkennt man Kontamination, ohne die Trainingsdaten zu kennen?
- Wie misst man Qualität dort, wo es keine einzige richtige Antwort gibt?
Wenn der Durchbruch gelingt
Ausblick, kein Versprechen: was möglich würde, wenn die offenen Fragen beantwortet sind.
Messung als Dauerbetrieb
Gelänge eine Messung mit wenigen, gut gewählten Aufgaben ohne Verlust an Aussagekraft, könnte jeder Endpunkt täglich geprüft werden. Ein Anbieter, der sein Modell still austauscht oder stärker quantisiert, würde am nächsten Morgen auffallen.
Beschaffung mit Beleg
Einkaufsentscheidungen über Modelle würden auf Messungen im eigenen Anwendungsfall beruhen statt auf Ranglisten — mit einer Zahl, die man im Vertrag festschreiben kann.
Wo wir stehen
Dieselben Belege wie auf der Übersicht — jede Zahl mit ihrer Art.
- Kompakte Suite (Programmieren, Wissen, Mathematik, Anweisungen) ab wenigen Franken
- Jede Zahl mit Lauf-ID, Stichprobengrösse und Einstellungen
- Vorher/Nachher bei Quantisierung, Feinabstimmung oder Anbieterwechsel
Für wen
- Teams, die zwischen Modellen oder Anbietern wählen
- Anbieter, die eine Quantisierung oder Feinabstimmung belegen wollen
- Einkauf und Compliance, die eine nachprüfbare Grundlage brauchen
Mit uns daran arbeiten.
Wir öffnen Piloten einzeln. Beschreib kurz, was du rechnen möchtest — keine Zahlung, keine Zusage, eine ehrliche Einschätzung.
Pilot anfragen