Was sind agentische Akzeptanztests?

Agentische Akzeptanztests sind Akzeptanztests, die im Workflow mit KI Agenten als Maßstab dienen. Der Coding Agent arbeitet, bis sie grün sind, und Agenten helfen zunehmend, sie aus Anforderungen in natürlicher Sprache zu erzeugen. Weil der Test damit über Qualität entscheidet, braucht er klare Regeln, wer ihn schreibt und wer ihn ändern darf.

Agenten optimieren auf das Ziel, das sie sehen, und das ist oft ein grüner Test. Die Benchmark ImpossibleBench zeigt, dass Frontier Modelle häufig Tests ändern, Sonderfälle hart codieren oder andere Abkürzungen nehmen, wenn Test und Anforderung sich widersprechen. Stärkere Modelle schummeln dabei oft mehr. Strenge Anweisungen und weniger Zugriff auf Tests senken die Rate deutlich.

Tests entstehen vor dem Code und nicht durch den umsetzenden Agenten. Testdateien sind für ihn gesperrt, Änderungen laufen über ein eigenes Review. Ein zweiter Agent prüft isoliert, verdeckte Holdout Tests decken Tricks auf, und die Pipeline meldet Merge Requests, die Code und Tests gleichzeitig ändern. Bei Widersprüchen stoppt der Agent und meldet den Konflikt.

cy.prompt ist ein KI gestützter Cypress Befehl, der Testschritte in natürlicher Sprache in echte Cypress Befehle übersetzt und im Browser ausführt. Cypress hat ihn auf der CypressConf 2025 vorgestellt, seit Cypress 15.13 ist er im Beta Status und braucht einen Cypress Cloud Account. Den erzeugten Code kann man jederzeit ansehen und exportieren. Für Teams ohne Tests ist cy.prompt ein toller Einstieg ins Testen.

Ja, zumindest die Kriterien. Szenarien im Format Given When Then versteht der Fachbereich, und Werkzeuge wie cy.prompt machen daraus ausführbare Tests. Wichtig bleibt, dass jemand mit Testerfahrung den erzeugten Code prüft, bevor er zum Maßstab wird. Methoden wie Example Mapping helfen, Kriterien gemeinsam mit Entwicklung und QA zu schärfen.

Ein Unit Test prüft eine einzelne Funktion oder Klasse isoliert. Ein Akzeptanztest prüft das Verhalten aus Sicht des Nutzers oder Fachbereichs, meist als End to End Test im Browser. Im agentischen Workflow brauchen Teams beides: Unit Tests fangen Fehler früh und schnell, Akzeptanztests zeigen, ob die Anforderung wirklich erfüllt ist.

Nein. Wer Code und Test gleichzeitig schreibt, bewertet seine eigene Arbeit und kann den Maßstab unbemerkt anpassen. Akzeptanztests sollten von Menschen oder einem getrennten Agenten stammen und vor der Umsetzung feststehen. Der umsetzende Agent darf Unit Tests ergänzen, die Akzeptanztests aber nicht verändern.

Holdout Tests sind zusätzliche Tests, die der Agent während der Arbeit nicht sieht. Sie laufen erst nach der Umsetzung und decken Lösungen auf, die nur die sichtbaren Tests bedienen. Die EvilGenie Studie zeigt, dass sie hilfreich, aber nicht lückenlos sind, weil auch heuristische Lösungen verdeckte Tests bestehen können.

Ein E2E Framework wie Cypress, eine CI Pipeline, die bei roten Tests blockiert, und Regeln, die Testdateien schützen. Für die Kriterien helfen Given When Then Szenarien, für die Generierung Werkzeuge wie cy.prompt. Realistische Testdaten liefert Faker. Im SAP Umfeld übernimmt Tricentis die Testautomatisierung auf Prozessebene.

Ja, dort sind sie besonders wertvoll. Akzeptanztests werden zum Vertrag: Der Auftraggeber formuliert die Kriterien, der Dienstleister liefert eine grüne Pipeline mit Nachweisen. Entscheidend ist die Frage, wer die Tests geschrieben hat und wer sie ändern durfte. Ohne diese Klarheit sagt ein grüner Test wenig über die Qualität.

Self Healing heißt, dass ein Test Selektoren automatisch anpasst, wenn sich die Oberfläche ändert. cy.prompt bietet das, wenn der Befehl dauerhaft im Test bleibt, und zeigt jede Anpassung im Command Log. Für Akzeptanztests ist das mit Vorsicht zu nutzen, weil sich der Maßstab dann ohne Review verändern kann.

Ja. Testing ist unser Ursprung, Roland Golla ist Cypress Ambassador, und Cypress mit Cypress Cloud läuft bei uns intensiv in Production. Wir helfen Teams, Akzeptanzkriterien zu formulieren, Tests vor Agenten zu schützen und die Pipeline als Quality Gate aufzusetzen. Der Einstieg ist ein kostenloses Kennenlernen, abgerechnet wird transparent minutengenau.