Flaky Tests in Cypress finden und beheben: Ursachen, Retries, Flake Detection in Cypress Cloud und Codebeispiele für stabile E2E Tests, von NCA.
Mehr erfahren
Wir arbeiten seit über 20 Jahren mit PHP und Symfony. Wir helfen bei PHP Updates und PHP Refactoring und beraten remote zu allen Fragen rund um PHP. Zuerst sichern Tests und statische Analyse den Code ab, dann räumen wir auf. Automatische CI/CD Deployments und eine stabile Docker Umgebung sorgen dafür, dass jede Änderung sicher live geht.
seal() schließt du die Konfiguration eines Mocks oder Stubs ab. Danach sind keine weiteren expects() oder method() Aufrufe mehr möglich. Über eine Konfigurationsoption lassen sich versiegelte Mock Objects sogar erzwingen.assertArraysHaveEqualValues() und assertArraysHaveEqualValuesIgnoringOrder(). Sie unterscheiden sauber zwischen striktem und losem Vergleich, mit oder ohne Keys, geordnet oder ungeordnet.withParameterSetsInOrder() und withParameterSetsInAnyOrder() Parameter über mehrere Aufrufe hinweg.any() nutzt, sagt eigentlich "ist mir egal" und braucht einen Stub.
// Mock konfigurieren und versiegeln
$mock = $this->createMock(PaymentGateway::class);
$mock->expects($this->once())
->method('charge')
->with(99.99)
->willReturn(true);
// Ab hier ist die Konfiguration dicht
$mock->seal();
$processor = new OrderProcessor($mock);
$processor->processOrder($order);
withConsecutive() aus. Der Mock erwartet zwei Aufrufe mit genau diesen Parametern in genau dieser Reihenfolge:
$dispatcher = $this->createMock(Dispatcher::class);
$dispatcher
->expects($this->exactly(2))
->method('dispatch')
->withParameterSetsInOrder(
[new OrderPlaced],
[new InvoiceSent],
);
$service = new CheckoutService($dispatcher);
$service->checkout($cart);
withParameterSetsInAnyOrder(). Sebastian Bergmann rät, die feste Reihenfolge nur dann zu prüfen, wenn sie für das Verhalten wirklich zählt. Sonst bricht der Test bei jedem harmlosen Refactoring, obwohl die Funktion stimmt.
#[DataProviderClosure] schreibt Testdaten direkt an den Test, mit PHP 8.5expectExceptionMessageIs() ersetzt das missverständliche expectExceptionMessage()withParameterSetsInPartialOrder() und willReturnStrictMap() für genauere Test Doubles
# Alle Tests mit ihrer ID auflisten
vendor/bin/phpunit --list-test-ids
# Genau die Tests aus einer Datei ausführen, eine ID pro Zeile
vendor/bin/phpunit --test-id-filter-file failed-tests.txt
# Mehr Kontext im Diff und kompakte Ausgabe
vendor/bin/phpunit --diff-context 10 --compact
--repeat und #[Repeat] führen jeden Test mehrfach hintereinander aus und decken so Flaky Tests auf#[Retry] wiederholt fehlgeschlagene Tests, die sich nicht stabil machen lassen. Jeder Test, der erst im zweiten Anlauf besteht, steht verpflichtend in der Zusammenfassung
use PHPUnit\Framework\Attributes\Repeat;
use PHPUnit\Framework\Attributes\Retry;
use PHPUnit\Framework\Attributes\Test;
#[Test]
#[Repeat(100)]
public function cacheKeepsStateAcrossCalls(): void
{
// läuft bis zu 100 Mal, stoppt beim ersten Fehler
}
#[Test]
#[Retry(3)]
public function fetchesRatesFromRemoteService(): void
{
// bis zu drei Versuche, jeder auf einer frischen Instanz
}
void, die nicht über #[Depends] von anderen Tests abhängen. Unsere Empfehlung: #[Repeat] zum Aufspüren nutzen, #[Retry] nur als bewusste Ausnahme für Tests gegen Dienste, deren Timing du nicht kontrollierst.
composer require --dev phpunit/phpunit ^13.0
<?xml version="1.0" encoding="UTF-8"?>
<phpunit bootstrap="vendor/autoload.php"
colors="true"
cacheDirectory=".phpunit.cache"
executionOrder="depends,defects">
<testsuites>
<testsuite name="Unit">
<directory>tests/Unit</directory>
</testsuite>
<testsuite name="Integration">
<directory>tests/Integration</directory>
</testsuite>
</testsuites>
<source>
<include>
<directory>src</directory>
</include>
</source>
</phpunit>
executionOrder="depends,defects" laufen Tests, die zuletzt gescheitert sind, zuerst. Seit 13.2 zählen dafür nur noch echte Errors und Failures, nicht mehr Warnungen oder übersprungene Tests. Prüfe deine Konfiguration mit --validate-configuration, bevor sie in die Pipeline geht.
composer require --dev rector/rector
./vendor/bin/rector process tests/ --set phpunit
expectExceptionMessage() sowie --order-by duration und --order-by size@test oder @dataProvider funktioniert nicht mehr. Ein einfacher Unit Test in PHPUnit 13:
use PHPUnit\Framework\TestCase;
use PHPUnit\Framework\Attributes\Test;
use PHPUnit\Framework\Attributes\CoversClass;
#[CoversClass(Calculator::class)]
class CalculatorTest extends TestCase
{
#[Test]
public function addsTwoNumbers(): void
{
// Arrange
$calculator = new Calculator();
// Act
$result = $calculator->add(2, 3);
// Assert
$this->assertSame(5, $result);
}
#[Test]
public function divideByZeroThrowsException(): void
{
$this->expectException(\DivisionByZeroError::class);
$calculator = new Calculator();
$calculator->divide(10, 0);
}
}
assertSame() prüft Typ und Wert striktassertEquals() prüft Wertgleichheit mit TypumwandlungassertTrue() und assertFalse() für boolesche WerteassertInstanceOf() für ObjekttypenassertCount() für die Anzahl der ElementetestAdd lieber addsTwoPositiveNumbers mit dem #[Test] Attribute.
#[DataProvider] Attribute und eine statische Methode:
use PHPUnit\Framework\Attributes\DataProvider;
use PHPUnit\Framework\Attributes\Test;
#[Test]
#[DataProvider('additionProvider')]
public function addsNumbers(int $a, int $b, int $expected): void
{
$calc = new Calculator();
$this->assertSame($expected, $calc->add($a, $b));
}
public static function additionProvider(): array
{
return [
'zero plus zero' => [0, 0, 0],
'positive numbers' => [1, 2, 3],
'negative numbers' => [-1, -2, -3],
];
}
#[DataProviderClosure] stehen die Testdaten direkt am Test. Voraussetzung ist PHP 8.5, weil erst diese Version Closures in konstanten Ausdrücken erlaubt. Die Closure muss statisch sein:
use PHPUnit\Framework\Attributes\DataProviderClosure;
use PHPUnit\Framework\Attributes\Test;
#[Test]
#[DataProviderClosure(
static function (): array
{
return [
'zero plus zero' => [0, 0, 0],
'positive numbers' => [1, 2, 3],
];
}
)]
public function addsNumbers(int $a, int $b, int $expected): void
{
$this->assertSame($expected, (new Calculator())->add($a, $b));
}
createStub() isoliert Abhängigkeiten und liefert RückgabewertecreateMock() prüft die Kommunikation zwischen Objektenseal() schließt die Konfiguration abwillReturnStrictMap() für strikten Vergleich beim Mapping von Argumenten auf Rückgabewerte
#[Test]
public function sendsNotificationOnOrderCompletion(): void
{
// Stub: liefert die Bestellung
$repository = $this->createStub(OrderRepository::class);
$repository->method('findById')
->willReturn(new Order(id: 42, total: 99.99));
// Mock: prüft, dass die Benachrichtigung rausgeht
$notifier = $this->createMock(NotificationService::class);
$notifier->expects($this->once())
->method('send')
->with($this->stringContains('Bestellung #42'));
// Versiegelt: keine weiteren Erwartungen mehr möglich
$notifier->seal();
$service = new OrderService($repository, $notifier);
$service->completeOrder(42);
}
expectExceptionMessage() war schon immer missverständlich benannt: Es prüfte nie auf Gleichheit, nur ob die Nachricht den Text enthält. Die Methode ist jetzt deprecated. Stattdessen gibt es drei klare Varianten:expectExceptionMessageIs() verlangt eine exakte ÜbereinstimmungexpectExceptionMessageIsOrContains() behält das alte Verhalten mit TeilstringexpectExceptionMessageMatches() prüft gegen einen regulären Ausdruck
#[Test]
public function rejectsInvalidEmail(): void
{
$this->expectException(\InvalidArgumentException::class);
$this->expectExceptionMessageIs('Ungültige Mail Adresse');
new EmailAddress('keine-mail');
}
phpunit:
stage: test
image: php:8.4-cli
before_script:
- apt-get update && apt-get install -y git unzip libzip-dev
- docker-php-ext-install zip
- curl -sS https://getcomposer.org/installer | php
- php composer.phar install --no-interaction
script:
- vendor/bin/phpunit --coverage-text --colors=never
artifacts:
reports:
coverage_report:
coverage_format: cobertura
path: coverage.xml
name: PHPUnit Tests
on: [push, pull_request]
jobs:
test:
runs-on: ubuntu-latest
strategy:
matrix:
php: ['8.4', '8.5']
steps:
- uses: actions/checkout@v4
- uses: shivammathur/setup-php@v2
with:
php-version: ${{ matrix.php }}
coverage: xdebug
- run: composer install --no-interaction
- run: vendor/bin/phpunit --coverage-clover coverage.xml
--list-test-ids listet jeden Test eindeutig, --test-id-filter-file führt genau die Tests aus einer Datei aus. Ideal, um nur die gescheiterten Tests erneut zu starten oder eine Suite auf mehrere Worker zu verteilen.--compact und schnellere Diffs bei großen Strings und Arrays.Upgrading PHPUnit should be boring
Flaky Tests in Cypress finden und beheben: Ursachen, Retries, Flake Detection in Cypress Cloud und Codebeispiele für stabile E2E Tests, von NCA.
Mehr erfahrenPHPUnit ist das Standard Testing Framework für PHP, entwickelt von Sebastian Bergmann. Es führt automatisierte Unit, Integrations und Funktionstests aus. 2026 ist Version 13 das zentrale Werkzeug für Qualitätssicherung in PHP Projekten, von Symfony über Laravel bis Sulu CMS, lokal genauso wie in der CI CD Pipeline.
PHPUnit 13 braucht mindestens PHP 8.4, PHP 8.5 wird ebenfalls unterstützt. Ältere PHP Versionen bleiben bei PHPUnit 12 mit PHP 8.3 oder PHPUnit 11 mit PHP 8.2. Einzelne Features wie das DataProviderClosure Attribute aus 13.1 setzen PHP 8.5 voraus, weil erst dort Closures in konstanten Ausdrücken erlaubt sind.
Version 13.0 brachte Sealed Test Doubles, neue Array Assertions und den Ersatz für withConsecutive. In 13.1 kamen Data Providers als Closures und reichere OTR Reports. 13.2 brachte Test IDs und neue Exception Methoden. 13.3 bringt Repeat und Retry gegen Flaky Tests sowie eine Klassenansicht im Coverage Report.
Lass die Test Suite zuerst unter PHPUnit 12.5 ohne Deprecation Warnungen laufen. Dann übernimmt Rector mit dem PHPUnit Set einen Großteil der Umstellung, danach folgt das Upgrade auf 13. Prüf anschließend vor allem Mock Setups und eigene Assertions von Hand und lass die CI Pipeline als Quality Gate entscheiden.
PHPUnit 14 ist für Februar 2027 angekündigt, denn jede Major Version erscheint im Februar. Vorbereiten heißt: nach jedem Minor Release die Deprecations lesen und Stück für Stück abarbeiten. Stell jetzt schon expectExceptionMessage und die Optionen order by duration und size um. Dann ist das Upgrade ein kurzer Schritt.
Ein Test Stub ersetzt eine Abhängigkeit und liefert vordefinierte Rückgabewerte, erstellt mit createStub. Ein Mock Object prüft zusätzlich, ob bestimmte Methoden mit bestimmten Parametern aufgerufen werden, erstellt mit createMock. Brauchst du keine Prüfung der Aufrufe, ist ein Stub die richtige Wahl. PHPUnit weist seit 12.5 aktiv darauf hin.
Ein Test Double wird mit seal abgeschlossen, sobald seine Konfiguration fertig ist. Danach sind keine weiteren Aufrufe von expects oder method mehr möglich. So ist der Mock vollständig eingerichtet, bevor der getestete Code läuft. Über eine Konfigurationsoption kannst du versiegelte Mock Objects in der ganzen Suite verlangen.
Zwei neue Regeln: withParameterSetsInOrder prüft Parameter über mehrere Aufrufe in fester Reihenfolge, withParameterSetsInAnyOrder in beliebiger Reihenfolge. Seit 13.2 gibt es withParameterSetsInPartialOrder für den Mittelweg. Damit fallen die langen Callback Konstruktionen weg, die viele Teams seit PHPUnit 10 als Ersatz gebaut hatten.
Klassisch verweist das DataProvider Attribute auf eine statische Methode, die ein Array liefert. Seit 13.1 kannst du mit DataProviderClosure die Daten als statische Closure direkt an den Test schreiben, Voraussetzung ist PHP 8.5. Benannte Keys machen die Ausgabe in beiden Varianten deutlich lesbarer.
Der Name führte in die Irre. Die Methode prüfte nie auf Gleichheit, sondern nur, ob die Nachricht den Text enthält. Seit 13.2 gibt es expectExceptionMessageIs für exakte Treffer, expectExceptionMessageIsOrContains für das alte Verhalten und weiterhin expectExceptionMessageMatches für reguläre Ausdrücke. Stell bestehende Tests am besten jetzt um.
Mit der Option repeat und dem Repeat Attribute läuft jeder Test bis zu einer festen Anzahl hintereinander, so zeigen sich wackelnde Tests. Das Retry Attribute wiederholt einen fehlgeschlagenen Test, wenn sich Flakiness nicht beheben lässt. Jeder Test, der erst nach Fehlversuchen besteht, erscheint verpflichtend in der Zusammenfassung des Laufs.
PHPUnit läuft in jeder CI Plattform. Für GitLab CI und GitHub Actions reicht ein PHP Image mit Composer und der Befehl vendor/bin/phpunit. Coverage Reports exportierst du als Artefakt. Bei großen Suites helfen Test IDs zum Verteilen auf Worker und phpcov zum Zusammenführen der Coverage.
Das hängt von Größe und Zustand der Test Suite ab. Never Code Alone startet mit einem kostenlosen Kennenlernen, schätzt dann den Aufwand und rechnet transparent minutengenau ab. Es gibt keine Pakete und keine Mindestlaufzeit. Oft reicht eine Begleitung beim Rector Setup und bei den schwierigen Mock Fällen.
Für neue Projekte nimmst du PHPUnit 13 mit PHP 8.4 oder 8.5. Diese Kombination hat laut Support Plan den längsten Bugfix Zeitraum und alle aktuellen Features wie Sealed Test Doubles, Test IDs und Repeat. Halte die Minor Versionen automatisch aktuell, dann bleibt auch der Sprung auf PHPUnit 14 klein.