NCA Social Media
Aktualisiert:
Autor:
Roland Golla
Grüner Weichenhebel mit Schriftzug Switchyard verzweigt zu drei KI Modellen

Was ist NeMo Switchyard?

NeMo Switchyard ist eine Open Source Routing Library von NVIDIA. Sie sitzt zwischen deinem KI Agenten und den Modellen und entscheidet bei jedem einzelnen Schritt, welches Modell die Aufgabe übernimmt.

Switchyard ist selbst kein Modell. Es ist Infrastruktur: ein Classifier, ein Proxy zwischen verschiedenen API Formaten und ein Satz Routing Strategien. Damit lassen sich lokale Modelle und Frontier APIs in einem Workflow mischen, gesteuert nach Schwierigkeit der Aufgabe.

NVIDIA hat die Library zusammen mit dem offenen Modell Nemotron 3.5 Lightning veröffentlicht. Sie baut auf dem Forschungsprojekt RouteLLM auf und ergänzt Session State, Action Traces und mehrere Routing Algorithmen. Der Code liegt offen auf GitHub, geschrieben in Rust.

Der Kern der Idee: Ein Agent macht pro Aufgabe dutzende Modellaufrufe. Die wenigsten davon brauchen wirklich ein teures Spitzenmodell. Wer alles an dieselbe Adresse schickt, zahlt für Aufrufe, die ein kleines Modell genauso gut erledigt hätte.

Inhalt

Model Routing mit NCA: Schnelle Hilfe vom Experten

Never Code Alone arbeitet täglich mit gemischten Modell Setups. Wir betreiben kleine Modelle lokal über Ollama und holen uns die großen Coding Modelle über souveräne Anbieter aus der Cloud. Genau diese Trennung ist der Punkt, an dem eine Routing Library wie Switchyard interessant wird. Wir kennen die Stolperstellen aus dem Alltag: Kontextverlust beim Modellwechsel, unklare Kostenzuordnung und Agenten, die auf einem kleinen Modell plötzlich Werkzeugaufrufe verlieren.

Wenn ihr eure KI Infrastruktur sauber aufsetzen wollt, helfen wir bei der Vibe Coding Beratung und beim Aufbau einer belastbaren KI Strategie. Wir ordnen ein, welches KI Modell ohne US Anbieter passt, bauen CI/CD Pipelines um die Agenten herum und sorgen mit Langfuse Observability dafür, dass ihr seht, was eure Agenten wirklich kosten.

Model Routing im Team einführen

Finde das passende Angebot für dein Projekt

Anfrage-Konfiguration

Starten Sie Ihre Anfrage

Projektart
Infos
Nachricht

Eliminierung technischer Schulden mit PHPStan, Rector PHP und PHPUnit. Über 20 Jahre Praxiserfahrung in skalierbaren Backends.

CORE EXPERTISE

Gesetzliche Konformität & Inklusion. Optimierung von Performance und Conversion durch radikal nutzerzentriertes, universelles Design.

BFSG COMPLIANT

Skalierbare KI-Systeme mit echtem Code Ownership. CI/CD, Backup-Strategien und Infrastruktur, die mit deinem Team wächst.

ENTERPRISE READY

Die drei Wege, Switchyard einzusetzen

Switchyard ist in Rust geschrieben und bietet drei Einstiegspunkte. Welchen du nimmst, hängt davon ab, ob du einen Coding Agenten steuern, einen Proxy betreiben oder Routing in eigenen Code einbauen willst.

  • Launcher Path: Du installierst die Python CLI und startest damit einen unterstützten Coding Agenten. Der Launcher fährt den Rust Server im Hintergrund hoch und zeigt den Agenten darauf. Der schnellste Weg zum ersten Ergebnis.
  • Server Path: Du baust den eigenständigen Rust Server und betreibst ihn als Proxy. Jeder Client, der OpenAI Chat Completions, Anthropic Messages oder die OpenAI Responses API spricht, kann sich verbinden.
  • Library Path: Du bindest die Routing Algorithmen über switchyard-libsy direkt in eine eigene Rust Anwendung ein. Die Library ruft selbst kein Modell auf, sie gibt dir den Aufruf zurück und du führst ihn über deinen eigenen HTTP Stack aus.

Für die meisten Teams ist der Server Path der richtige. Er hängt vor allem daran, dass sich beliebige OpenAI kompatible Endpunkte eintragen lassen. Damit kannst du auch lokale Modelle oder europäische Anbieter als Ziele definieren, statt auf den mitgelieferten Standard zu setzen.

Die Routing Strategien im Überblick

Strategie Funktionsweise Passt für
Random Router Verteilt Anfragen zufällig auf den Modell Pool A/B Tests und erste Messungen
LLM Classifier Ein kleines Judge Modell entscheidet vor dem Aufruf über die Stufe Hohe Treffsicherheit, kostet einen Zusatzaufruf
Stage Router Heuristik, liest Signale aus dem laufenden Gespräch Latenzkritische Workflows ohne Zusatzaufruf
Escalation Router Startet günstig und stuft hoch, wenn ein Judge Modell Probleme sieht Lange Sessions mit schwankender Schwierigkeit

Switchyard installieren: Launcher Path in fünf Minuten

Der schnellste Einstieg läuft über die Python CLI. Sie bringt den Rust Server als gepackte Erweiterung mit, du brauchst also keine Rust Toolchain. Voraussetzung ist uv.

Code: 
          
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"

uv tool install --python 3.10 "nemo-switchyard[cli]"

Das legt eine isolierte Umgebung mit dem Kommando switchyard an. Der Coding Agent, den du starten willst, muss separat installiert und im PATH sein. Unterstützt werden Claude Code, Codex und OpenClaw.

Mit der mitgelieferten Konfiguration startest du direkt gegen OpenRouter:

Code: 
          
export OPENROUTER_API_KEY="dein-openrouter-key"

switchyard launch claude --model switchyard
switchyard launch codex --model switchyard
switchyard launch openclaw --model switchyard

Für eigene Ziele übergibst du eine TOML Datei und wählst eine ihrer Route IDs. Das ist der Weg, den wir empfehlen, weil du damit selbst bestimmst, welche Anbieter überhaupt angesprochen werden.

Code: 
          
switchyard launch codex --model my-route --config routes.toml

Server Path: eigener Proxy mit eigener routes.toml

Wenn du den Proxy selbst betreiben willst, brauchst du Git, eine Build Toolchain und Rust mit Cargo. Auf Ubuntu oder WSL sieht das so aus:

Code: 
          
sudo apt-get update
sudo apt-get install -y build-essential curl git
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source "$HOME/.cargo/env"

cargo install --locked switchyard-server
switchyard-server --help

Cargo legt die Binary standardmäßig in ~/.cargo/bin ab. Die gesamte Konfiguration steckt in einer TOML Datei. Wichtig dabei: Der Schlüssel selbst gehört nicht in die Datei. Über api_key_env gibst du nur den Namen der Umgebungsvariable an.

Ein Beispiel mit einem lokalen Modell als schwachem Ziel und einem gehosteten Modell als starkem Ziel:

Code: 
          
schema_version = 1

[llm_clients.lokal]
format = "openai_chat"
base_url = "http://localhost:11434/v1"
api_key_env = "LOKAL_API_KEY"

[llm_clients.gehostet]
format = "openai_chat"
base_url = "https://dein-anbieter.example/v1"
api_key_env = "GEHOSTET_API_KEY"

[targets.weak]
id = "qwen3-coder"
llm_client = "lokal"

[targets.strong]
id = "dein-grosses-coding-modell"
llm_client = "gehostet"

[routes.smart]
id = "switchyard"
type = "llm_classifier"
mode = "capability"
classifier_target = "weak"
strong_target = "strong"
weak_target = "weak"
base_threshold = 0.5

Das Feld format muss openai_chat, openai_responses oder anthropic_messages sein. Prüfe die Konfiguration erst im Trockenlauf, bevor du den Server bindest:

Code: 
          
switchyard-server --config routes.toml --dry-run
switchyard-server --config routes.toml --host 127.0.0.1 --port 4000

Der Trockenlauf validiert Schema, Umgebungsvariablen, Zielverweise und Routenaufbau, ohne einen Socket zu öffnen. Danach testest du gegen den laufenden Server. Die Route ID ist der Modellname, den Clients verwenden.

Code: 
          
curl http://localhost:4000/health
curl http://localhost:4000/v1/models

curl http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"switchyard","messages":[{"role":"user","content":"hallo"}]}'

Ein Detail, das man kennen sollte: Switchyard hängt an ausgehende Modellaufrufe einen Versions Header. Inhalte werden dabei nicht übertragen. Abschalten lässt es sich über eine Umgebungsvariable.

Code: 
          
export SWITCHYARD_TELEMETRY_OPT_OUT=1

Was die Praxiszahlen zeigen

Die interessantesten Zahlen kommen nicht von NVIDIA selbst, sondern von Partnern, die Switchyard gegen ihre eigenen Testsuiten laufen ließen.

  • LangChain schickte über 145 mehrstufige Deep Agents Aufgaben nur 7 Prozent der Aufrufe an ein Frontier Modell. Die restlichen 93 Prozent übernahm ein 30B Modell. Die Kosten sanken um 74 Prozent, die Genauigkeit um 6 Prozent.
  • Ramp erreichte auf dem eigenen SWE Bench die Leistung des Frontier Modells bei 58 Prozent weniger Kosten und 33 Prozent kürzerer Laufzeit.
  • Cognition baute den Stage Router in Devin Desktop ein und meldete nahezu unveränderte Ergebnisse bei 28 Prozent niedrigeren Durchschnittskosten.

Alle diese Zahlen stammen von den Anbietern selbst und beziehen sich auf ihre eigenen Workloads. Sie sind kein Versprechen für deinen Code. Sie zeigen aber sauber, worum es geht: Der Löwenanteil der Agentenarbeit ist Routine, und Routine ist billig, wenn man sie nicht am teuersten Modell abarbeitet.

Coding aus der Cloud, Datenverarbeitung im eigenen Netz

Für deutsche Teams ist Switchyard aus einem anderen Grund spannend als für amerikanische Konzerne. Es geht weniger um die Tokenrechnung und mehr um die Frage, welche Daten wohin fließen.

Große Coding Modelle der 700B Klasse laufen nicht auf eurem eigenen Blech. Der dafür nötige GPU Park ist für die allermeisten Teams keine realistische Option. Kleine Modelle wie Qwen3 Coder laufen dagegen problemlos auf einer Workstation.

Genau in diese Lücke passt ein Router. Die Regel, mit der wir arbeiten: Coding aus der Cloud, Datenverarbeitung aus dem eigenen Netz. Aufgaben, die echte Kundendaten berühren, gehen an ein lokales Modell. Aufgaben, die nur Code und Struktur betreffen, dürfen an ein großes Modell bei einem souveränen Anbieter gehen. Coding Modelle, die nicht auf eigener Infrastruktur laufen, setzen wir grundsätzlich gegen lokale Entwicklungsumgebungen mit Fake Daten ein.

Für gehostete Inferenz in Europa gibt es Optionen wie TensorX oder unseren Infrastrukturpartner Conversis in Duisburg. Mehr Hintergrund dazu steht in unserem Beitrag zu lokaler KI für Compliance.

Kritische Einordnung: Wo Switchyard weh tut

Ein Router ist eine Abhängigkeit, die länger bleibt als das Modell daneben. Ein Modellwechsel bedeutet einen neuen Endpunkt. Ein Wechsel der Routing Library bedeutet, dass du Kosten und Latenz über jeden darauf gebauten Workflow neu justierst. Wer Switchyard einführt, sollte das bewusst tun und nicht nebenbei.

Vier Punkte, die wir im Blick behalten:

  • Der Launcher kennt OpenCode nicht. Unterstützt werden Claude Code, Codex und OpenClaw. Wer wie wir mit OpenCode arbeitet, muss über den Server Path gehen und den Agenten selbst auf den Proxy zeigen.
  • Der Judge ist auch ein Modell. Der LLM Classifier kostet pro Anfrage einen zusätzlichen Aufruf. Bei sehr kurzen Aufgaben frisst das den Vorteil auf.
  • Genauigkeit sinkt messbar. Die LangChain Zahlen zeigen sechs Prozent Verlust. Das ist bei Refactorings und Migrationen kein Rundungsfehler, sondern eine bewusste Entscheidung.
  • Routing ersetzt keine Qualitätssicherung. Ohne statische Analyse, Unit Tests und E2E Tests mit Cypress merkst du gar nicht, wenn das kleinere Modell schlechter arbeitet.

Die mitgelieferte Standardkonfiguration zeigt auf OpenRouter. Das ist als Einstieg praktisch, für unsere Zwecke aber nicht die Zielarchitektur. Über eine eigene routes.toml lässt sich jeder OpenAI kompatible Endpunkt eintragen, also auch ein lokales Ollama oder ein europäischer Anbieter.

NVIDIA hat Switchyard als Open Source veröffentlicht und mit OpenRouter, LiteLLM und Kong integriert. Das ist ehrlich offen. Trotzdem bleibt es Software eines Hardwareherstellers, dessen Geschäftsmodell an der Frage hängt, wo Inferenz stattfindet. Wir empfehlen die Library nicht pauschal für Production, sondern helfen Teams, sie gegen ihre eigene Architektur einzuordnen.

Efficient agents need a system of models, not just one model.

Kari Briski, Vice President Generative AI, NVIDIA – via The Next Platform

Wie NCA Model Routing einordnet

Wir bauen bei Never Code Alone seit Jahren Systeme, in denen mehrere Komponenten zusammenspielen müssen. Routing zwischen Modellen ist im Kern dasselbe Problem wie Routing zwischen Services: Es funktioniert erst, wenn du misst, was passiert. Deshalb steht bei uns die Beobachtbarkeit vor der Optimierung.

Konkret heißt das: erst Langfuse oder ein vergleichbares Tracing aufsetzen, dann eine Woche normal arbeiten, dann die Verteilung ansehen. Erst danach lohnt sich ein Router. Wer ohne Zahlen routet, verschiebt nur das Rätselraten.

Weiterführende Themen aus dem NCA Glossar:

CYPRESS.IO Ambassador und IT Consultant für QA Engenieering und Qualität in PHP Projekten.

NCA Vibe Coding Consulting

Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.

E-Mail Kontakt

Häufige Fragen zu NeMo Switchyard

Die wichtigsten Fragen zu Model Routing, Kosten und Datenschutz kurz beantwortet.

Was ist NeMo Switchyard 2026?

NeMo Switchyard ist eine Open Source Routing Library von NVIDIA. Sie entscheidet bei jedem Schritt eines Agent Workflows, welches Modell die Aufgabe übernimmt. Sie ist selbst kein Modell, sondern eine Zwischenschicht aus Classifier, API Proxy und Routing Strategien. Der Code liegt offen auf GitHub und ist in Rust geschrieben.

Wie viel spart Model Routing 2026 wirklich?

Die veröffentlichten Werte stammen von Partnern und schwanken stark. LangChain meldete 74 Prozent geringere Kosten, Ramp 58 Prozent, Cognition 28 Prozent. Alle drei bezogen sich auf ihre eigenen Workloads. Für deinen Code gilt keine dieser Zahlen. Belastbar wird es erst, wenn du deine eigene Aufrufverteilung misst.

Verliere ich 2026 Genauigkeit durch Routing?

Ja, messbar. LangChain berichtete sechs Prozent Genauigkeitsverlust bei 74 Prozent Kostenersparnis. Ob dieser Tausch sinnvoll ist, hängt an der Aufgabe. Bei Boilerplate und Recherche ist er meist unproblematisch. Bei Refactorings, Migrationen und sicherheitsrelevantem Code ist er es nicht.

Läuft Switchyard 2026 lokal?

Die Library selbst läuft lokal, entweder als Proxy oder als Middleware im Agent Prozess. Die Modelle, an die sie routet, laufen dort, wo du sie hinlegst. Kleine Modelle können auf eigener Hardware laufen, große Coding Modelle praktisch nie. Genau diese Mischung ist der Anwendungsfall.

Ist Switchyard 2026 an NVIDIA Hardware gebunden?

Nein. Die Library ist Open Source und wurde von OpenRouter, LiteLLM und Kong integriert. Das SDK übersetzt zwischen OpenAI, Anthropic und Responses API Formaten. Du kannst damit auch Modelle routen, die nichts mit NVIDIA zu tun haben.

Wie unterscheidet sich Switchyard von OpenRouter?

OpenRouter ist ein gehosteter Dienst mit einem einzigen API Endpunkt für viele Modelle. Switchyard ist eine Library, die du selbst betreibst und deren Routing Logik du selbst definierst. OpenRouter hat den Switchyard Algorithmus integriert, die beiden schließen sich also nicht aus.

Welche Routing Strategie soll ich zuerst testen?

Den Random Router. Er verteilt zufällig und liefert damit die Vergleichsbasis, gegen die du alles andere misst. Ohne diese Grundlinie weißt du nicht, ob eine schlaue Strategie tatsächlich hilft. Danach lohnt der Escalation Router, weil er ohne Zusatzaufruf startet.

Was ist der Unterschied zu RouteLLM?

Switchyard baut auf RouteLLM auf, dem Forschungsprojekt von UC Berkeley und LMSYS. Ergänzt wurden Session State Tracking, Action Traces und mehrere Routing Algorithmen in einem Paket. RouteLLM war ein Papier mit Code, Switchyard ist auf Produktionsbetrieb ausgelegt.

Ist Routing DSGVO relevant?

Sehr. Ein Router entscheidet, welches Modell welche Daten sieht. Damit wird die Routing Regel selbst zu einem Datenschutzmechanismus. Unsere Regel: Aufgaben mit echten Daten gehen an lokale Modelle, Aufgaben mit reinem Code dürfen in die Cloud. Coding Modelle ohne eigene Infrastruktur setzen wir nur gegen Dev Umgebungen mit Fake Daten ein.

Brauche ich Switchyard für kleine Projekte?

Meist nicht. Der Aufwand lohnt sich erst, wenn ein Agent viele Aufrufe pro Aufgabe macht und dauerhaft läuft. Bei gelegentlichem Einsatz eines Coding Agenten ist der Router mehr Komplexität als Nutzen. Miss zuerst deine tatsächliche Aufrufmenge.

Was ist Nemotron 3.5 Lightning?

Ein offenes Mixture of Experts Modell mit 30 Milliarden Parametern, veröffentlicht zusammen mit Switchyard. Es ist für spezialisierte Aufgaben in größeren Multi Agent Systemen gebaut, nicht als Allrounder. In den Switchyard Benchmarks übernimmt es typischerweise die Rolle des günstigen Ausführers.

Setzt NCA Switchyard in Production ein?

Nein. Wir ordnen die Library editorial ein und helfen Teams, sie gegen ihre eigene Architektur zu bewerten. In unserem Stack arbeiten wir mit Ollama lokal und großen Coding Modellen über souveräne Cloud Anbieter. Ob ein Router dazwischen gehört, entscheidet die gemessene Aufrufverteilung.