Ein Tag inhouse, ohne Vorkenntnisse, mit Live Demo und Live Coding. Am Ende steht ein eigenes kleines Tool statt einer Demo App.
As autonomous agents join the enterprise workforce, they also become a new, unmanaged attack surface.
LiteLLM als Proxy vor allen Modellen: Token Kosten pro Nutzer, harte Budget Limits und MCP Server zentral verteilen. NCA Einordnung für Teams 2026.
Mehr erfahren
Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.
Ein Proxy zwischen euren Anwendungen und den Sprachmodellen. Alle Aufrufe laufen über einen Endpunkt in OpenAI kompatiblem Format. Das Gateway vergibt eigene Schlüssel, zählt Token, zieht Budgets, schaltet bei Ausfällen auf Ersatzmodelle um und protokolliert jeden Aufruf. Seit 2026 verteilen die meisten Projekte zusätzlich MCP Server und Werkzeuge über denselben Weg.
In den meisten Fällen LiteLLM. Der Einstieg dauert Minuten, die Anbieterliste ist die längste am Markt und Budgets lassen sich pro Nutzer und Projekt ziehen. Ein zusätzliches Kubernetes Cluster braucht ihr dafür nicht. Erst wenn Latenz, Cluster Betrieb oder harte Guardrails zum Thema werden, lohnt der Blick auf die anderen Projekte.
Ja. Im März 2026 hat Portkey den kompletten Gateway unter Apache 2.0 gestellt, inklusive Governance, Observability, Authentifizierung und Kostenkontrolle. Kurz darauf hat Palo Alto Networks das Unternehmen übernommen und den Abschluss Ende Mai 2026 bekannt gegeben. Der Code bleibt offen, die Richtung der Weiterentwicklung liegt aber bei einem großen US Konzern.
Am 23. Juni 2026 kam Version 1.0 als erste stabile Ausgabe. Sie bringt eine einheitliche API über 16 Anbieter, ein MCP Gateway, multimodale und Audio Endpunkte sowie mandantenfähiges Routing mit Kontingenten. Version 1.1 folgte im August 2026 mit Token Zählung über Anbieter hinweg und optionalem OpenTelemetry Tracing.
Meistens noch nicht. Solange eine Anwendung, ein Anbieter und ein Schlüssel im Spiel sind, überwiegt der Betriebsaufwand. Der Punkt kippt, sobald mehrere Personen denselben Schlüssel nutzen oder ein zweiter Anbieter dazukommt. Dann fehlt sonst die Zuordnung, welcher Verbrauch aus welchem Projekt stammt.
Ein Gateway regelt den Zugang: Schlüssel, Budgets, Protokollierung, Formatübersetzung. Ein Router entscheidet nur, welches Modell eine konkrete Anfrage beantwortet, etwa ein kleines lokales Modell für einfache Fragen. RouteLLM und der vLLM Semantic Router sind solche Router. Beides schließt sich nicht aus, ein Router sitzt sinnvollerweise hinter oder vor dem Gateway.
Je nach Projekt zwischen wenigen Mikrosekunden und einigen Millisekunden. Bifrost und Portkey werben mit sehr geringem Overhead, LiteLLM liegt als Python Anwendung darüber. In der Praxis fällt das gegenüber der Antwortzeit des Modells kaum ins Gewicht. Relevant wird es erst bei sehr hohem Durchsatz oder bei Streaming Anwendungen mit knappen Zeitbudgets.
Ja, und das ist inzwischen ein Hauptargument. LiteLLM, Portkey, das Envoy AI Gateway und Bifrost im Enterprise Teil bringen alle ein MCP Gateway mit. Damit bekommen Agenten nicht nur Modelle, sondern auch Werkzeuge über einen kontrollierten Weg. Wer nur den Modellzugang absichert, lässt den Werkzeugzugang offen.
Nein. Das Gateway ist ein Werkzeug, keine Rechtsposition. Es hilft aber sehr, weil sich Regeln technisch erzwingen lassen: welche Route welche Daten sehen darf, welcher Schlüssel auf welches Modell zeigt, was protokolliert wird. Modelle, die nicht auf eigener Infrastruktur laufen, arbeiten bei uns nur gegen Entwicklungsumgebungen mit Fake Daten.
Dann steht jede KI Funktion, die darüber läuft. Genau deshalb gehört ein Gateway in die Überwachung wie jede andere kritische Komponente, mit Sentry und Grafana. Redundanz, saubere Timeouts und ein getesteter Weg zurück auf direkte Anbieterschlüssel gehören zum Setup. Ein Gateway ohne Notfallplan verschiebt das Risiko nur.
Das hängt am Anwendungsfall. Bei Chatbots und Suchoberflächen mit vielen ähnlichen Fragen spart es spürbar Geld. Bei Coding Agenten fast nie, weil jede Anfrage einen anderen Kontext trägt. Vorsicht ist auch bei sensiblen Daten geboten: ein Cache speichert Anfragen und Antworten, das gehört in die Datenschutzbetrachtung.
Ja, wenn das Projekt harte Limits kennt. Bei LiteLLM lassen sich Budgets pro Schlüssel, Nutzer, Team und Organisation setzen, die am Limit tatsächlich abschalten. Wichtig ist die Ebene: ein Limit pro Organisation verhindert keine Ausreißer in einem einzelnen Projekt. Wir setzen Budgets deshalb immer auf mehreren Ebenen gleichzeitig.
Wir starten mit einem kostenlosen Kennenlernen und schauen uns an, welche Modelle, Schlüssel und Anwendungen bereits im Einsatz sind. Daraus ergibt sich der Aufwand, den wir vorher schätzen und danach minutengenau abrechnen. Feste Pakete oder Mindestlaufzeiten gibt es nicht.
