LLM-Compute · verfügbar
Ein Schlüssel. Jedes LLM. Der Preis, der zur Aufgabe passt.
LLMs unterscheiden sich weniger im Können, als die Preislisten vermuten lassen — und viel mehr im Preis. Wir leiten jede Anfrage dorthin, wo die gemessene Leistung für ihren Zweck reicht, zum günstigsten Tagespreis und unter den Zusagen, die du vorgibst.
So funktioniert es
Die Technik dahinter, ohne Marketingnebel.
Die API spricht das verbreitete OpenAI-Format: Chat-Nachrichten, Streaming per Server-Sent Events, Werkzeugaufrufe, strukturierte Ausgaben. Bestehender Code wechselt die Basis-URL und den Schlüssel — sonst nichts.
Region, Datenhaltung ohne Speicherung, Quantisierungsstufe: was du zusagst, schliesst Anbieter aus, bevor überhaupt verglichen wird. Ein günstigerer Weg, der eine Zusage bricht, existiert für die Auswahl schlicht nicht.
Du wählst eine Stufe je Einsatzzweck — Programmieren, Wissen, Anweisungen befolgen. Welches Modell dahinter antwortet, entscheidet die Messung, nicht das Marketing eines Herstellers.
Eingabe, Ausgabe und zwischengespeicherte Eingabe werden getrennt gezählt und in Franken abgerechnet. Ohne Guthaben wird eine Anfrage vor dem Modell abgelehnt — nicht nach der Antwort.
Das Forschungsfeld: Inferenz-Ökonomie und Modell-Routing
Die laufenden Kosten eines LLM entstehen zunehmend bei der Inferenz, nicht beim Training. Drei Hebel bestimmen sie: die Grösse des aktiven Modells je Token (Mixture-of-Experts aktiviert nur einen Bruchteil der Parameter), die Zahlendarstellung (von 16 Bit über FP8 bis zu 4-Bit-Formaten mit Mikroskalierung) und die Wiederverwendung von Rechenarbeit (Prefix- und KV-Caching, spekulatives Dekodieren).
Routing geht einen Schritt weiter: statt jede Anfrage an das stärkste Modell zu schicken, schätzt ein Router, welches Modell sie gut genug lösen wird. Kaskaden probieren zuerst klein und eskalieren nur bei Unsicherheit. Die Schwierigkeit liegt in der Vorhersage: die Qualität einer Antwort ist erst nach ihr messbar, der Router muss vorher entscheiden.
Offene Fragen
- Wie gut lässt sich die Schwierigkeit einer Anfrage aus ihrem Text vorhersagen?
- Wann kostet eine Eskalation mehr, als sie an Qualität bringt?
- Wie stabil ist die gemessene Rangfolge von Modellen über Wochen und Anbieter-Updates hinweg?
Wenn der Durchbruch gelingt
Ausblick, kein Versprechen: was möglich würde, wenn die offenen Fragen beantwortet sind.
Vorhersagbares Routing
Gelänge es, die nötige Modellstufe je Anfrage verlässlich vorherzusagen, würden die meisten Alltagsanfragen von kleinen Modellen beantwortet. Rechenbeispiel: beantwortet ein Modell zu einem Zehntel des Preises vier von fünf Anfragen gleich gut, sinken die Kosten um rund zwei Drittel — bei unveränderter Qualität.
Qualitätszusagen statt Modellnamen
Ein Kunde würde nicht mehr ein Modell buchen, sondern ein Ergebnis: „Code, der die Tests besteht, zu diesem Preis“. Anbieterwechsel würden unsichtbar und automatisch.
Wo wir stehen
Dieselben Belege wie auf der Übersicht — jede Zahl mit ihrer Art.
- OpenAI-kompatible API, ein Schlüssel für alle Plattformen
- Leistungsstufen je Einsatzzweck statt Modell-Lotterie (Modell taylor)
- Live-Preisvergleich über Plattformen, Abrechnung nur per Kreditkarte
Für wen
- Produktteams, die mehrere Modelle ohne mehrere Verträge nutzen wollen
- Agenturen und Entwickler mit schwankender Last
- Unternehmen mit Vorgaben zu Region und Datenhaltung
Heute nutzbar.
Schlüssel holen, Basis-URL tauschen, loslegen — abgerechnet wird je Token in Franken.
Zum LLM Broker