AD - stock.adobe.com
Modellrouter wählen für jede Anfrage das passende KI-Modell
Ein KI-Modellrouter leitet jede Anfrage nach Kosten, Latenz, Qualität und Vertraulichkeit an das passende Modell und senkt so die Ausgaben ohne Qualitätsverlust.
Ein Modellrouter dient als Steuerungsschicht zwischen Anwendung und verschiedenen Sprachmodellen. Er leitet jede Anfrage je nach Kosten, Latenz, Qualität und Vertraulichkeit an das passende Ziel. Für IT-Entscheider verschiebt sich damit die Leitfrage von welches ist das beste Modell? zu was ist die beste Kombination aus mehreren Modellen?.
Der Markt für Modellrouter wächst dabei schnell. Open-Source-Frameworks und kommerzielle Dienste konkurrieren um die Rolle als zentrale Instanz vor den verschiedenen KI-Modellen von OpenAI, Anthropic, Google, Meta, Mistral und DeepSeek. OpenRouter beschreibt die vier Grundaufgaben einer Routing-Schicht in seiner technischen Dokumentation. Als selbst betriebener Proxy positioniert sich LiteLLM, mit Schwerpunkt auf Observability des Portkey-Gatway.
Router und Gateway erfüllen verschiedene Aufgaben
Der Begriff Router bezeichnet die Instanz, die pro Anfrage das passende Modell auswählt. Ein Gateway bündelt den Zugang zu mehreren Anbietern hinter einer einheitlichen Schnittstelle und übernimmt Betriebsfunktionen. In der Praxis überschneiden sich beide Rollen, die Trennung bleibt für die Architektur trotzdem sinnvoll.
Vier Grundaufgaben strukturieren den Ablauf. Die Modellwahl entscheidet, welches Sprachmodell eine Anfrage bearbeitet. Die Provider-Wahl bestimmt, über welchen Anbieter oder welche Region ein Modell läuft. Die Lastverteilung streut Anfragen über mehrere Endpunkte und hält die Antwortzeiten stabil. Das Failover schaltet bei Fehlern oder Zeitüberschreitungen auf ein Ersatzmodell um. Ein reiner Router deckt vor allem die Modellwahl ab, ein Gateway ergänzt Lastverteilung, Failover und die Verwaltung der Zugangsschlüssel.
Not Diamond zeigt die Trennung im Produktzuschnitt. Der Dienst spricht die Empfehlung für das passende Modell aus und überlässt die Ausführung dem angebundenen Gateway. Portkey und LiteLLM decken dagegen den vollen Betriebsumfang ab, darunter Routing, Caching, Observability und Rate Limiting (Durchsatzbegrenzung).
Routing-Entscheidung per Regel, Klassifikator oder Semantik
Die Qualität eines Routers hängt an der Logik hinter der Modellwahl. Regelbasierte Ansätze ordnen Anfragen anhand fester Bedingungen zu. Eine Codeanfrage geht an das stärkste Programmiermodell, eine Übersetzung an ein günstiges Standardmodell. Solche Regeln bleiben nachvollziehbar, brechen aber bei jeder Änderung der Prompts.
Klassifikatoren heben das Verfahren auf eine statistische Ebene. Ein trainiertes Modell schätzt vor der Ausführung, welches Zielmodell die beste Antwort zum niedrigsten Preis liefert. Not Diamond setzt auf einen solchen trainierten Klassifikator, der die Wahl vor dem ersten Token festlegt.
Eine semantische Analyse bewertet den Inhalt einer Anfrage über mehrere Dimensionen und leitet daraus das Ziel ab. Kommerzielle Router prüfen jede Anfrage nach Leistung, Kosten und Zuverlässigkeit. Im Jahr 2026 verschieben sich diese Verfahren von statischen Klassifikatoren zu Online-Lernverfahren mit Rückkopplung aus dem laufenden Betrieb, darunter Ansätze aus der Forschung zu Bandit-Feedback-Routern. Ein Agent, der jede Anfrage an ein Spitzenmodell schickt, zahlt für anspruchslose Arbeit einen Aufschlag. Eine Routing-Schicht senkt diesen Aufschlag, ohne die Antwortqualität bei anspruchsvollen Anfragen zu opfern.
Der Markt teilt sich in gehostete und selbst betriebene Ansätze
Der Markt gliedert sich in gehostete Aggregatoren und selbst betriebene Proxys. OpenRouter bündelt als gehosteter Dienst über 400 Modelle von mehr als 60 Anbietern hinter einem Endpunkt und einer Abrechnung. Nach Unternehmensangaben nutzen rund acht Millionen Entwickler die Plattform. Das Kostenmodell beruht auf einem Aufschlag auf den Inferenzumsatz, nach Anbieterangaben aktuell eine Pauschale von 5,5 Prozent auf Guthabenkäufe und fünf Prozent bei Kryptozahlung.
LiteLLM steht für den selbst betriebenen Gegenpol. Der Proxy übersetzt Anfragen in das OpenAI-Format und spricht über 100 Anbieter an, das Projekt zählt rund 40.000 Sterne auf GitHub. Der Betrieb läuft im eigenen Netzwerk, Budgets, virtuelle Schlüssel und Kostenverfolgung sind integriert. Für regulierte Bereiche und abgeschottete Umgebungen bleibt der Eigenbetrieb oft die praktikable Option. Portkey adressiert dieselbe Schicht mit Schwerpunkt auf Observability und Guardrails und spricht nach Eigenangabe über 1.600 Modelle an.
Zwischen den Polen positionieren sich spezialisierte Anbieter. Martian und Not Diamond verkaufen die Routing-Intelligenz als kommerzielles Produkt. Bifrost setzt auf hohe Geschwindigkeit und niedrige Latenz bei kleinerem Anbieterumfang. Die Auswahl hängt vor allem an der Betriebsfrage nach eigener Kontrolle gegenüber fremd betriebener Bequemlichkeit.
Betrieb verlangt Budgets, Observability und Guardrails
Der produktive Betrieb einer Routing-Schicht verlangt mehr als die Modellwahl. Budgets pro Schlüssel, Team oder Projekt begrenzen die Ausgaben und verhindern, dass ein einzelner Dienst die Kosten aus dem Rahmen treibt. Durchsatzbegrenzung steuert die Zahl der Anfragen pro Zeitfenster und dämpft Lastspitzen.
KI-Modellrouter lassen sich lokal und der Cloud betreiben. Hier ein Vergleich der Optionen:
Observability liefert die Grundlage für Kontrollen. Ein Gateway protokolliert jede Anfrage mit Modell, Kosten, Latenz und Nutzer und macht die Ausgaben pro Team sichtbar. Portkey verarbeitet nach Eigenangabe eine Billion Token an einem Tag und erfasst mehr als 40 Kennzahlen je Anfrage. Caching senkt Kosten und Antwortzeiten, indem wiederkehrende Anfragen aus dem Zwischenspeicher bedient werden, im semantischen Modus auch bei sinngleichen Formulierungen.
Guardrails prüfen Ein- und Ausgaben auf Richtlinienverstöße und filtern unerwünschte Inhalte. Automatische Wiederholungen, Zeitüberschreitungen und Failover greifen ineinander und halten das System bei Ausfällen einzelner Anbieter verfügbar. Solche Betriebsfunktionen entscheiden über die Produktionstauglichkeit stärker als die reine Zahl der angebundenen Modelle.
EU-Souveränität wird zum Auswahlkriterium
Für Organisationen im deutschsprachigen Raum wird die Herstellerunabhängigkeit zum Auswahlkriterium. Eine Routing-Schicht entkoppelt die Anwendung vom Anbieter und senkt die Abhängigkeit von einem Modell. Fällt ein Anbieter aus oder ändert er Preise und Konditionen, leitet der Router den Verkehr auf Ersatzmodelle um.
Die Datenhoheit verschärft die Anforderung. Ein gehosteter Aggregator leitet Prompts über fremde Infrastruktur, deren Standort und Protokollierung außerhalb der eigenen Kontrolle liegen. Ein selbst betriebener Proxy hält Prompts, Logs und Routing-Entscheidungen im eigenen Netzwerk und erlaubt die Wahl von Region und Anbieter nach rechtlichen Vorgaben. Für abgeschottete Umgebungen ohne ausgehende Verbindungen bleibt der Eigenbetrieb die praktikable Lösung.
Compliance-Rollen bewerten die Schicht nach Nachweisbarkeit. Vollständige Protokolle über jede Modellwahl liefern die Evidenz für Audits und Datenschutzprüfungen. Die Kombination aus Herstellerunabhängigkeit, Datenhoheit und lückenloser Protokollierung stützt die digitale Souveränität stärker als die Bindung an einen einzelnen Cloud-Anbieter.
Fazit
Ein Modellrouter verschiebt die Architektur von KI-Anwendungen von der Bindung an ein einzelnes Modell zur gesteuerten Verteilung über mehrere Modelle. Der Kostenhebel ist messbar, die Ausfallsicherheit steigt durch Failover, und die Herstellerunabhängigkeit stärkt die Position gegenüber einzelnen Anbietern. Die Wahl zwischen gehostetem Dienst und Eigenbetrieb hängt an Datenhoheit, Betriebsaufwand und dem geplanten Umsatzvolumen.
