LLM Routing 2026: RouteLLM und vLLM Semantic Router im Vergleich. Wie Teams einfache Anfragen an günstige Modelle leiten und Kosten senken.
Mehr erfahren
Ein Tag inhouse, ohne Vorkenntnisse, mit Live Demo und Live Coding. Am Ende steht ein eigenes kleines Tool statt einer Demo App.
Think of Jev as a frontier-intelligence function call: unstructured state in, typed probabilistic decisions out.
LLM Routing 2026: RouteLLM und vLLM Semantic Router im Vergleich. Wie Teams einfache Anfragen an günstige Modelle leiten und Kosten senken.
Mehr erfahren
Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.
Jev AI ist das erste öffentliche System One Modell von TypeSafe AI. Es erzeugt keinen Text. Stattdessen beantwortet es Fragen zu einem Zustand mit typisierten Werten aus vorab festgelegten Optionen und liefert zu jeder Antwort eine Wahrscheinlichkeit. Damit eignet es sich für Entscheidungen direkt im Code, etwa beim Klassifizieren, Routen oder Prüfen.
TypeSafe AI ist ein KI Lab aus San Francisco. Gründer und CEO ist Diogo Almeida. Er hat bei OpenAI an RLHF und an der Forschung hinter ChatGPT mitgearbeitet. Nach rund zwei Jahren im Stealth Modus hat TypeSafe Jev als erstes öffentliches Modell vorgestellt.
TypeSafe nennt Antwortzeiten zwischen 70 und 500 Millisekunden pro Aufruf. Klassische Frontier Modelle brauchen laut Hersteller Sekunden bis Minuten. In eigenen Workflow Tests will TypeSafe Jev als bis zu rund 190 Mal schneller gemessen haben. Das sind Herstellerwerte, unabhängige Messungen stehen noch aus.
Jev läuft als API in den USA. Jeder Aufruf überträgt den State an TypeSafe. Für personenbezogene Daten ist das kritisch zu prüfen. NCA empfiehlt Tests mit anonymisierten oder generierten Daten in lokalen Setups. Für echte Daten eignen sich lokale Modelle über Ollama oder gehostete Inferenz in der EU.
Nein. Jev erzeugt keinen Text, keinen Code und keine Zusammenfassungen. Es ergänzt ein Sprachmodell. Das LLM übernimmt offene Aufgaben wie Schreiben und Planen. Jev übernimmt die vielen kleinen Urteile dazwischen, etwa welches Modell eine Anfrage bekommt oder ob ein Tool Call ausgeführt werden darf.
RLCD steht für Reinforcement Learning for Calibrated Decisions. Das Trainingsverfahren belohnt ehrliche Wahrscheinlichkeiten. Eine Antwort mit hoher Konfidenz soll also auch häufiger stimmen. Klassische LLMs werden dagegen mit RLHF auf menschliche Vorlieben oder mit RLVR auf prüfbare Ergebnisse trainiert.
Jev kann keine Typfehler machen und keine Option erfinden, weil alle möglichen Antworten vorher feststehen. In diesem Sinn halluziniert es nicht. Eine gültige Option kann aber trotzdem die falsche sein. Deshalb brauchen auch Jev Entscheidungen Tests, Schwellenwerte und Monitoring im Betrieb.
TypeSafe rechnet nach verarbeiteten Eingabe Tokens ab und gibt an, deutlich günstiger als klassische LLMs zu sein. Ausgaben werden laut Hersteller nicht berechnet. Die Preise können sich ändern. Aktuelle Konditionen stehen auf der Website von TypeSafe. Ob die Preise langfristig tragen, muss sich laut Hersteller noch zeigen.
Jev ist im Early Access verfügbar. Entwickler tragen sich auf der Website von TypeSafe in eine Warteliste ein und werden nach und nach freigeschaltet. Der Zugriff erfolgt über eine Konsole mit Playground und über die API. Für Python gibt es einen Adapter auf GitHub.
Jev eignet sich für Klassifizieren, Routen, Bewerten und Prüfen. Typische Beispiele sind Ticket Routing, Mail Einordnung, Model Routing in Agenten, Guardrails für Tool Calls und das Auswerten großer Datenmengen. Auch Echtzeit Anwendungen wie Spiele oder Simulationen profitieren von den kurzen Antwortzeiten.
Pro Frage unterstützt Jev bis zu 255 Antwortoptionen. Bei größeren Auswahlmengen arbeitet TypeSafe in zwei Stufen. Zuerst bewertet Jev die Optionen einzeln, danach trifft es eine explizite Auswahl. Das kann den Aufruf etwas verlangsamen, bleibt aber deutlich schneller als ein klassisches LLM.
Ein direktes lokales Gegenstück gibt es noch nicht. Kleine offene Modelle über Ollama liefern mit Structured Outputs aber ebenfalls feste Formate und laufen im eigenen Netz. Sie sind langsamer und liefern keine kalibrierten Wahrscheinlichkeiten. Für viele Klassifizierungen mit sensiblen Daten sind sie trotzdem die sichere Wahl.
Nein. Jev ist neu, läuft bei einem US Anbieter und ist bisher nur im Early Access verfügbar. NCA ordnet Jev deshalb editorial ein. Wir helfen Teams, Jev gegen ihre eigenen Workflows zu testen, mit lokalen Alternativen zu vergleichen und die passende Architektur für schnelle KI Entscheidungen zu wählen.