Was ist die Jagged Frontier?

Die Jagged Technological Frontier, kurz Jagged Frontier, beschreibt die gezackte Grenze dessen, was KI gut kann. Manche Aufgaben löst ein Sprachmodell brillant, andere, die sich ganz ähnlich anfühlen, löst es überzeugend falsch.

Den Begriff prägten 2023 Forscher von Harvard Business School, Wharton und MIT in einem Experiment mit 758 Beratern der Boston Consulting Group. Innerhalb der Grenze wurden die Berater mit KI deutlich schneller und besser. Bei einer Aufgabe knapp außerhalb lagen sie mit KI 19 Prozentpunkte seltener richtig als ohne.

Für Teams mit KI Coding Agents ist das die wichtigste Lektion: Drei starke Antworten sagen nichts über die vierte. Deshalb braucht es Prüfungen, die nicht vom Gefühl abhängen.

Wir arbeiten jeden Tag mit KI Coding Agents und kennen beide Seiten der Grenze. OpenCode mit Open Weight Modellen schreibt bei uns große Teile des Codes. Geprüft wird alles durch PHPStan, Psalm, Rector, PHPUnit und Cypress in GitHub Actions und GitLab CI. Roland Golla ist Cypress Ambassador und beschäftigt sich seit über 20 Jahren mit Softwarequalität.

Im Vibe Coding Consulting richten wir mit Teams Regeln und Quality Gates für Agents ein. Das CI/CD Pipeline Setup sorgt dafür, dass nur geprüfter Code live geht. Mit dem NCA Cypress E2E Testing Setup sichern wir die wichtigsten Nutzerwege ab. Wie Regeln für Agents konkret aussehen, zeigen die NCA PHP AI Coding Guidelines. Developer lernen das hands on im NCA KI Workshop für Developer.

Fabrizio Dell'Acqua, Ethan Mollick, Karim Lakhani und weitere Forscher haben das Experiment 2023 gemeinsam mit der Boston Consulting Group durchgeführt. Es war vorregistriert, also vorab mit Hypothesen und Methode festgelegt. 758 Berater nahmen teil, rund sieben Prozent der BCG Berater auf dieser Ebene. Die Hälfte arbeitete mit GPT-4, ein Teil davon zusätzlich mit einer kurzen Einführung ins Prompting.

Die Forscher teilten die Aufgaben bewusst in zwei Gruppen:

• 18 Aufgaben innerhalb der Grenze: kreative Ideen, Analysen, Texte und Präsentationen für ein Produkt.
• Eine Aufgabe außerhalb der Grenze: ein Geschäftsproblem, bei dem Zahlen aus einer Tabelle mit Aussagen aus Interviews verbunden werden mussten. Die KI lieferte dafür eine plausible, aber falsche Antwort.

Die vollständige Studie ist als Working Paper der Harvard Business School frei verfügbar.

Gezackt heißt: Die Grenze verläuft nicht entlang von leicht und schwer. Eine Aufgabe, die für Menschen kompliziert wirkt, schafft die KI oft mühelos. Eine scheinbar einfache Aufgabe direkt daneben geht schief. Von außen sieht man das nicht.

Dazu kommt: Die KI klingt in beiden Fällen gleich sicher. Es gibt kein Warnsignal im Ton, keine Lücke im Stil. Wer nach mehreren guten Ergebnissen Vertrauen aufbaut, prüft beim nächsten Mal weniger genau. Genau dort passiert der Fehler.

Neue Modelle verschieben die Grenze. Viele Aufgaben, die 2023 außerhalb lagen, liegen heute innerhalb. Unsichtbar bleibt die Grenze trotzdem. Deshalb hilft es wenig, auf das nächste Modell zu warten.

Eine zweite Studie zeigt, warum wir die Grenze so schlecht erkennen. Mark Steyvers und Kollegen von der UC Irvine haben 2025 in Nature Machine Intelligence untersucht, wie Menschen die Antworten von Sprachmodellen einschätzen.

Das Ergebnis:

• Menschen überschätzen die Genauigkeit von LLM Antworten, besonders bei den Standard Erklärungen.
• Längere Erklärungen erhöhen das Vertrauen in die Antwort.
• Die längeren Erklärungen helfen aber nicht, richtige von falschen Antworten zu unterscheiden.
• Formulierungen zur Unsicherheit wie „ich bin nicht sicher“ verbessern die Einschätzung der Nutzer.

Für den Dev Alltag heißt das: Eine lange, saubere Architekturbegründung im Chat fühlt sich nach Beweis an. Sie ist keiner. Ein grüner Test ist einer.

Die Forscher haben auch beobachtet, wie erfolgreiche Berater mit der KI gearbeitet haben. Dabei zeigten sich zwei Muster:

• Centaurs teilen die Arbeit klar auf. Manche Schritte macht der Mensch, manche die KI. Wie beim Fabelwesen aus Mensch und Pferd bleibt die Trennlinie sichtbar.
• Cyborgs verweben ihre Arbeit eng mit der KI. Sie wechseln ständig hin und her, prüfen, korrigieren und fragen nach.

Beide Muster haben eines gemeinsam: Der Mensch bleibt aktiv im Prozess. Wer die KI einfach machen lässt und das Ergebnis übernimmt, fällt an der gezackten Grenze am härtesten.

Beim Coding ist die gezackte Grenze besonders gut zu sehen. Ein Agent baut in Minuten ein komplettes Formular mit Validierung. Im nächsten Schritt erfindet er eine Methode, die es in der Bibliothek nicht gibt. Oder er löst das technische Problem sauber und geht am fachlichen Problem vorbei.

Mit AI Agents wird das kritischer. Ein Chatbot antwortet nur, ein Mensch liest mit. Ein Agent handelt: Er schreibt Dateien, führt Befehle aus, öffnet Merge Requests. Ein Fehler außerhalb der Grenze bleibt dann nicht im Chatfenster. Er landet im Repository.

Wenn KI den Code schreibt, die Tests schreibt und eine andere KI das Review macht, kann alles grün sein und trotzdem das Falsche gebaut werden. Welche Tests mit Agents wichtiger werden, beschreibt unser Beitrag zur Testpyramide für KI Agents. Typische Fallen sammelt die Seite zu Vibe Coding Risiken.

Die Tabelle folgt einer einfachen Regel: Die KI darf alles, was ein automatisches Gate prüft und was sich zurückdrehen lässt. Code ohne Merge lässt sich verwerfen. Ein Merge ohne Mensch oder ein Eingriff ins Produktivsystem lässt sich nicht so leicht zurückholen.

Gegen eine unsichtbare Grenze hilft eine feste Kette von Prüfungen, die jeden Agent Commit gleich behandelt:

• Statische Analyse: PHPStan, Psalm und Rector bei PHP, Ruff und mypy bei Python. Der Agent lässt sie vor dem Push lokal laufen.
• Tests: PHPUnit oder pytest für die Logik, Cypress für die Wege, die Nutzer wirklich gehen.
• Pipeline: Jeder Merge Request läuft durch GitHub Actions oder GitLab CI. Live geht nur, was grün ist.
• Regeldateien: Architekturentscheidungen stehen schriftlich im Projekt, damit der Agent sie bei jeder Aufgabe kennt.

Wie diese Regeln für Agents aufgebaut werden, zeigt die Seite Code Qualität mit KI Agenten. Sicherheitsthemen behandelt Vibe Coding Security.

Steyvers beschreibt eine Lücke zwischen zwei Dingen: wie sicher sich ein Sprachmodell intern ist und wie sicher Menschen das Modell wahrnehmen. Die Modelle haben oft ein brauchbares Gefühl für ihre eigene Unsicherheit. In der Antwort kommt das aber selten an.

Zusammen mit der BCG Studie ergibt das ein klares Bild. Die Grenze der KI ist gezackt, und unser Gespür dafür ist schlecht. Längere und sauber formulierte Antworten machen es noch schlechter.

Die Konsequenz für Teams: Vertrauen gehört nicht in den Prozess. Prüfungen gehören hinein. Ein Test fragt nicht, wie überzeugend der Code klingt.

Bei NCA schreibt die KI jeden Tag Code. OpenCode mit Open Weight Modellen ist unser Coding Agent, kleine Modelle laufen lokal über Ollama. Weil wir die gezackte Grenze kennen, laufen bei uns alle Agent Commits durch dieselben Gates wie menschlicher Code. Wie die Strecke vom Commit bis live aussieht, zeigt unser Beitrag zur CI CD Pipeline mit Docker und Staging.

Teams helfen wir in mehreren Schritten. Im Vibe Coding Consulting setzen wir Regeln und Rechte für Agents auf. Mit dem CI/CD Pipeline Setup und dem NCA Cypress E2E Testing Setup entstehen die Gates. Für bestehende Projekte bringt die NCA Soforthilfe für Webprojekte schnelle Unterstützung.

Wer tiefer einsteigen will: Die Vibe Coding Prompting Seite zeigt, wie klare Aufträge Fehler früh verhindern. Die Seite zu Skalierbarkeit und Wartbarkeit erklärt, wann Vibe Coding an seine Grenzen kommt. Einen Überblick über Tools gibt Top 10 Vibe Coding Tools, zum Beispiel mit GitHub Copilot.

Für Developer gibt es den NCA KI Workshop für Developer, für ganze Belegschaften den NCA KI Workshop für alle Abteilungen. Welche Entscheidungen bei uns immer beim Menschen bleiben, beschreibt unser Blog Beitrag zur roten Linie für KI im Coding.

Die wichtigsten Antworten zur gezackten Grenze der KI, zur BCG Studie und zum sicheren Arbeiten mit KI Coding Agents.