Dedizierte Inferenz · im Aufbau
Deine Kapazität. In der Schweiz. Ohne Warteschlange.
Geteilte Endpunkte sind günstig, bis alle gleichzeitig rechnen. Dedizierte Inferenz reserviert Durchsatz auf offenen Modellen für dich allein — mit Daten, die das Land nicht verlassen und in kein Training fliessen.
So funktioniert es
Die Technik dahinter, ohne Marketingnebel.
Anfragen werden nicht nacheinander, sondern Token für Token gemeinsam verarbeitet. Die Grafikkarte ist damit ausgelastet, ohne dass eine lange Antwort alle kurzen blockiert.
Der Zwischenspeicher der Aufmerksamkeit wird wie Arbeitsspeicher in Seiten verwaltet. Das erlaubt lange Kontexte und viele gleichzeitige Gespräche auf derselben Karte.
Moderne Beschleuniger rechnen nativ mit 4-Bit-Gleitkommazahlen und feingranularer Skalierung. Ein Modell der 27-Milliarden-Klasse passt so auf eine einzelne Karte und bleibt schnell.
Wir sagen Durchsatz je Anfrage und in der Summe zu — gemessen, nicht geschätzt — und weisen ihn aus.
Das Forschungsfeld: effiziente Inferenz
Ein grosser Teil der aktuellen Forschung an LLMs gilt nicht dem Training, sondern der Frage, wie man sie billiger betreibt. Niedrigbit-Quantisierung reduziert Speicher und Bandbreite, kostet aber je nach Aufgabe unterschiedlich viel Genauigkeit — Mathematik und Code reagieren empfindlicher als Zusammenfassungen.
Spekulatives Dekodieren lässt ein kleines Modell mehrere Token vorschlagen, die das grosse in einem Schritt prüft. Getrennte Vorbereitung (Prefill) und Erzeugung (Decode) auf verschiedenen Karten nutzt, dass beide Phasen ganz unterschiedliche Hardware-Engpässe haben.
Offene Fragen
- Wo liegt die Grenze der Quantisierung, bevor Aufgaben messbar leiden?
- Wie viel Energie kostet ein Token — und wie tief kann es sinken?
- Wie teilt man eine Karte fair zwischen Latenz- und Durchsatzkunden?
Wenn der Durchbruch gelingt
Ausblick, kein Versprechen: was möglich würde, wenn die offenen Fragen beantwortet sind.
Verlustfreie Niedrigbit-Modelle
Gelänge 4-Bit-Inferenz ohne messbaren Qualitätsverlust für alle Aufgabenarten, würde ein einzelner Arbeitsplatzrechner ein ganzes Büro bedienen. Kanzleien, Praxen und Behörden könnten starke Modelle im eigenen Haus betreiben, ohne Daten auszulagern.
Energie je Token als Kennzahl
Würde der Energiebedarf je Token um eine Grössenordnung sinken, wäre lokale Inferenz nicht nur datenschutzfreundlicher, sondern auch günstiger als die Cloud.
Wo wir stehen
Dieselben Belege wie auf der Übersicht — jede Zahl mit ihrer Art.
- Offene Gewichte (27B-Klasse, Einbettungen), feste Kapazität
- Daten bleiben in der Schweiz, kein Training auf Kundendaten
- Tokens pro Sekunde als Zusage, gemessen und ausgewiesen
Für wen
- Unternehmen mit Datenhaltung in der Schweiz als Pflicht
- Produkte mit planbarer Last und festen Antwortzeiten
- Teams, die offene Modelle ohne eigenen Betrieb nutzen wollen
Mit uns daran arbeiten.
Wir öffnen Piloten einzeln. Beschreib kurz, was du rechnen möchtest — keine Zahlung, keine Zusage, eine ehrliche Einschätzung.
Pilot anfragen