QA The Other WayQualitätssicherung für das Zeitalter KI-geschriebener Tests. QA The Other Way.
Praktische QA

Ein Tag wählt Tests aus. Er beweist keine Abdeckung.

Behandle Suite-Filter als klare Auswahlvereinbarung und nenne ausgeschlossene Fälle.

5 Minuten LesezeitQA The Other Way
Eigenes Auswahldiagramm mit eingeschlossenen und ausgeschlossenen Tests.
Eigene redaktionelle Illustration.
Illustratives Video zu diesem Artikel. Englischer Bildschirmtext; Wählen Sie Untertitel für diese Sprache aus.

Übersetzte Ausgabe. Technische Kennungen bleiben in ihrer ursprünglichen Form.

Behandle Suite-Filter als klare Auswahlvereinbarung und nenne ausgeschlossene Fälle.
Lokales Testläuferbeispiel mit erfundenen Daten, keine Kunden- oder Anbieteroberfläche.

Eine Pipeline führt @critical aus und wird grün. Jemand nennt das volle Regression. Der Tag hat eine Teilmenge gewählt, nicht deren Vollständigkeit bewiesen. Auswahlmechanismus und Risikourteil sind verschieden.

Dieser Leitfaden folgt der Playwright-Annotationsdokumentation mit zwei erfundenen lokalen Tests. Einer gehört zur kleinen Prüfung, einer zur breiteren Sichtung. Keine echte Pipeline oder Abdeckungsquote wird behauptet. Mitgliedschaft wird vor der Interpretation sichtbar.

Definiere die Bedeutung des Tags

Playwright unterstützt Tags in Details oder Titel. Sie beginnen mit @ und filtern Tests. Eine Teamkonvention braucht einen kurzen Sinn, etwa eine vereinbarte Menge für ein bestimmtes Änderungstor.

@critical darf nicht nur die Meinung des letzten Autors bedeuten. Nenne Regelverantwortlichen, enthaltene Abläufe und bewusste Ausschlüsse. Den Text hinzuzufügen ist leicht; Mitgliedschaft zu begründen ist die Arbeit.

import { test, expect } from '@playwright/test';

test('demo title contract', { tag: '@demo-review' }, async () => {
  expect('Demo review').toBe('Demo review');
});

test('demo archive contract', { tag: '@demo-wide' }, async () => {
  expect(['draft', 'archive']).toContain('archive');
});

Diese Beispiele zeigen Metadaten und Auswahl, keine Anwendung oder sinnvolle Produktabdeckung. Liste die Auswahl vor dem Lauf:

npx playwright test demos/selection.spec.mjs --grep @demo-review --list

Lokal wird nur der Titelvertrag gewählt. Sein Lauf besteht eine erfundene Assertion. Der ausgeschlossene Archivvertrag zählt nicht als ausgeführter Nachweis, auch wenn er im Quellbaum liegt.

Trenne Auswahl, Überspringen und erwarteten Fehler

skip und fixme laufen nicht. fail läuft mit erwartetem Fehler; ein unerwarteter Erfolg wird gemeldet. Das ist anders als Nichtauswahl durch Filter.

Berichte ausgewählte, ausgeführte, übersprungene und erwartete Fehler klar. Addiere sie nicht zu einer beruhigenden Zahl. Schweigen kann Ausschluss, Abschaltung oder echten Erfolg bedeuten.

Fokussierte Tests begrenzen ebenfalls: Wenn es sie gibt, laufen nur diese. Lokaler Debug-Fokus darf die gemeinsame Suite nicht still reduzieren. Prüfe Auswahländerungen mit Codeänderungen.

Prüfe die Menge bei Änderungen

Ein neuer Ablauf braucht die richtige Mitgliedschaft. Titel, Tags oder Regex-Filter können Auswahl ohne Änderung des Testkörpers verändern. Nutze die Liste des Läufers mit dem genauen Pipelinebefehl.

Komplexe Filter brauchen eigene Checks. Dateiname oder Dashboardlabel beweisen keine Auswahl. Bewahre Befehl, relevante Konfiguration und ausgewählte Namen beim Ergebnis.

Nutze das Ergebnis im richtigen Umfang

Ein kleines Tor liefert schnell Rückmeldung, während eine breite Suite getrennt läuft. Das ist ein Plan, kein Beweis gegen alle Fehler. Produktrisiko bestimmt die Teilung; überprüfe sie bei neuen Funktionen und Fehlermustern.

AnyTest beschreibt Agenten, die Abläufe entdecken und prüfbare Tests erstellen. Prüfe Mitgliedschaft und Assertions. Eine AnyTest-Tagoberfläche wird nicht behauptet. Ein ehrliches Ergebnis leiht sich keine Sicherheit von nicht ausgeführten Tests.

Häufige Fragen

Beweist eine grüne Tag-Teilmenge volle Abdeckung?

Nein. Sie betrifft nur ausgewählte ausgeführte Checks in dieser Konfiguration.

Ist ein herausgefilterter Test ein übersprungener Test?

Nein. Auswahl, skip/fixme und erwarteter Fehler sind unterschiedliche Zustände.

Quellen