Was QA mit KI-Agenten spart und was sie kostet
Ziehen Sie Review und Reparatur von der eingesparten Schreibzeit ab. Für eine Geldrechnung zählen auch Tool, Ausführung und Testumgebung.
Übersetzte Ausgabe. Technische Kennungen bleiben in ihrer ursprünglichen Form.
In jedem Angebot für KI-Tests werden die Stunden genannt, die Sie einsparen. Fast keiner von ihnen listet die Stunden auf, die Sie verbringen werden. In diesem Artikel wird die Berechnung langsam durchgeführt, wobei neben jeder Zahl Annahmen aufgedruckt sind, denn das Einzige, was schlimmer als keine Automatisierung ist, ist die Automatisierung, deren Kosten Sie nie gemessen haben.
Für ein Team, das bereits über QA-Ingenieure verfügt
Der sich wiederholende Teil der Arbeit ist die Regression: das Schreiben derselben Abläufe für Anmelde-, Checkout- und Einstellungseinstellungen und deren Beibehaltung bei jeder Verschiebung der Benutzeroberfläche. Agenten greifen genau diese Hälfte an. Sie erkunden die App, entwerfen die Abläufe und entwerfen sie neu, wenn sich etwas ändert. Wenn die Entwürfe nützlich sind, können QS-Ingenieure weniger Zeit mit der Eingabe sich wiederholender Abläufe verbringen und können sich mehr auf die Überprüfung, Risikoanalyse und explorative Tests konzentrieren. Das ist ein messbarer möglicher Kapazitätsgewinn, keine versprochene Veränderung in jedem Team.
Führen Sie das Hauptbuch pro Sprint aus. Nehmen Sie die Stunden, die Ihr Team zuvor mit dem Schreiben und Reparieren von Regressionstests verbracht hat, nennen Sie es A. Nehmen Sie die Stunden, die es jetzt damit verbringt, von Agenten geschriebene Tests zu überprüfen, nennen Sie es R, und die Stunden, die es mit der Reparatur der Entwürfe, die falsch zurückkamen, verbringen, nennen Sie es F. Die gewonnene Nettokapazität ist A minus R minus F. Die Automatisierung gewinnt, wenn A größer ist als die Summe der beiden anderen. Zwei Faktoren sollten Sie in Ihrem Pilotprojekt überprüfen: ob die Überprüfungsoberfläche die Absicht klar macht und ob die Entwürfe umfangreiche Reparaturen erfordern. Eine lesbare Schrittzeitleiste kann Ihrem Team helfen; Messen Sie die Überprüfungszeit, anstatt davon auszugehen, dass sie einen Codeunterschied übertrifft.
Beachten Sie, was in der Formel nicht enthalten ist: die Anzahl der Mitarbeiter. Das realistische Ergebnis für ein QA-Team sind nicht weniger Leute. Es sind dieselben Leute, die einen größeren Teil des Produkts abdecken und ihr Urteil auf Risiko- und Grenzfälle richten, statt auf die vierte Neufassung des Checkout-Ablaufs in diesem Quartal.
Für ein Unternehmen ohne QA-Ingenieure
Der Vergleich bezieht sich hier nicht auf die Einstellung von Agenten und Qualitätssicherungskräften. Dabei handelt es sich um von einem Entwickler geschriebene Tests, die von einem Entwickler im Vergleich zum aktuellen Stand überprüft werden, bei dem es sich normalerweise nicht um Tests und eine Hoffnung handelt. Das ändert die Frage völlig. Die Entwürfe des Maklers konkurrieren nicht mit den Tests eines Profis; Sie konkurrieren mit nichts, und nichts ist auf eine Weise teuer, die niemals in einer Budgetlinie erscheint: das kaputte Login, das ein Kunde vor Ihnen findet, die Veröffentlichung, die Sie verzögert haben, weil ihm niemand vertraut hat.
Auch die Kostenseite ist ehrlich. Ein Gründer oder Entwickler verbringt jetzt R Stunden pro Zyklus damit, Tests zu überprüfen, anstatt sie zu schreiben. Diese Zeit ist real. Es mag kleiner sein als das Erstellen von Grund auf, aber das ist ein messbares Pilotergebnis. Vertrautheit mit der Pull-Request-Überprüfung ist hilfreich, obwohl die Test-Oracle-Überprüfung eine separate Fähigkeit ist. Die Gewinnschwelle hängt von der Überprüfungs- und Reparaturzeit, den Werkzeug- und Ausführungskosten sowie den erwarteten Kosten für entgangene Mängel ab. Das Erkennen eines Fehlers beweist nicht automatisch, dass sich die Investition gelohnt hat.
Der Rabattsatz für jeden AI-Anspruch
Drei Fehlermodi verschlingen die Einsparungen und jeder lässt sich auf etwas Testbares zurückführen. Falsche Orakel: Tests, die sich auf den Trinkspruch statt auf das Ergebnis stützen, werden abgedeckt durch Ein grünes Häkchen ist kein Beweis. Spröde Locators: Entwürfe, die das DOM fotografieren, anstatt Steuerelemente zu benennen, werden in Your Locator is a Contract behandelt. Unsichere Erkundung: Ein Agent, der feindliche Seiten ohne Schutz liest, ist mit einem Schutz bedeckt. Ein Agent mit einem Browser braucht einen Schutz. Ein Anbieter, der Ihnen nicht sagen kann, wie seine Überprüfungsoberfläche, seine Selektorqualität und seine Laufgrenzen funktionieren, bittet Sie, die Ersparnisse mit gutem Gewissen zu akzeptieren.
Das Arbeitsblatt
Schreiben Sie für die letzten vier Wochen auf: Stunden, die Sie mit der Erstellung von Regressionstests verbracht haben, Stunden mit deren Reparatur, Regressionen, die den Benutzern entgangen sind, und was Sie ein entgangener Fehler tatsächlich gekostet hat. Anschließend steuern Sie einen Agenten zwei Wochen lang an einem kritischen Fluss und zeichnen Sie Überprüfungs- und Reparaturstunden auf. Berücksichtigen Sie Werkzeuggebühren, Rechenleistung und Umgebungseinrichtung, wenn Sie die Stunden in einen Kostenvoranschlag umrechnen. Die Kapazitätsformel allein ist keine Geldsparformel. Die Tools, die diese Schleife kostengünstig machen, sind hinsichtlich der Form explizit: AnyTest verwendet eine URL, seine Agenten erkunden und entwerfen die End-to-End-Tests und ein Mensch überprüft jeden Schritt, bevor die Suite beibehalten wird. Wenn das R plus F Ihres Piloten deutlich unter Ihrem alten A liegt, haben Sie Ihre Antwort in Ihren eigenen Zahlen, die die einzigen sind, denen man vertrauen kann.
Der Maßstab eines anderen wird Ihnen diese Entscheidung abnehmen. Der arithmetische Wille.
Häufige Fragen
Ersetzt die QA mit KI-Agenten die QA-Ingenieure?
Nicht von alleine. Es kann bei der wiederkehrenden Erstellung und Wartung hilfreich sein, während QS-Ingenieure weiterhin Absichten, Risiken und Randfälle überprüfen. AnyTest gibt in seinen eigenen FAQ an, dass es die Qualitätssicherung ergänzt und nicht das Urteil ersetzt.
Wie messe ich, ob KI-geschriebene Tests meinem Team Zeit sparen?
Verfolgen Sie die Erstellungsstunden vorher und überprüfen Sie dann die Stunden sowie die Reparaturstunden danach. Der Nettogewinn besteht aus Autorenarbeit minus Rezension minus Reparatur. Messen Sie es mindestens zwei Wochen lang an Ihren eigenen Flüssen. Anbieter-Benchmarks sind kein Beweis für Ihr Produkt.
Lohnt sich die QA mit KI-Agenten für ein Unternehmen ohne QA-Team?
Der Vergleich ist dagegen, überhaupt keine Tests durchzuführen. Ein Agent entwirft den Versicherungsschutz und ein Entwickler überprüft ihn nach seinem Zeitplan. Ob es sich lohnt, hängt von den Überprüfungs-, Reparatur-, Werkzeug- und Ausführungskosten im Vergleich zum Wert einer früheren Fehlererkennung ab. Messen Sie diese in einem lokalen Piloten.