Что экономит QA с ИИ-агентами и сколько это стоит

В каждом предложении по тестированию ИИ указано количество часов, которые вы сэкономите. Почти ни в одном из них не указано количество часов, которые вы потратите. В этой статье арифметика выполняется медленно, с допущениями, напечатанными рядом с каждым числом, потому что единственное, что хуже отсутствия автоматизации, - это автоматизация, стоимость которой вы никогда не измеряли.

Для команды, в которой уже есть QA-инженеры

Повторяющаяся половина работы - это регресс: написание одних и тех же потоков входа в систему, оформления заказа и их последующее поддержание при каждом перемещении пользовательского интерфейса. Агенты атакуют именно эту половину. Они изучают приложение, составляют планы действий и переделывают их, когда что-то меняется. Когда черновики полезны, инженеры по обеспечению качества могут тратить меньше времени на набор повторяющихся потоков и больше на проверку, анализ рисков и исследовательское тестирование. Это возможное увеличение потенциала, которое можно измерить, а не обещанные изменения в каждой команде.

Запускайте реестр за спринт. Возьмите часы, которые ваша команда раньше тратила на написание и исправление регрессионных тестов, назовите это A. Возьмите часы, которые они теперь тратят на просмотр тестов, написанных агентами, назовите это R, а часы, исправляющие черновики, которые оказались неправильными, назовите это F. Чистая полученная мощность равна A минус R минус F. Автоматизация выигрывает, когда A больше суммы двух других. В вашем пилотном проекте стоит проверить два фактора: ясно ли отражается на поверхности обзора намерение и нуждаются ли черновики в серьезном исправлении. Читабельный график этапов может помочь вашей команде; измеряйте время проверки вместо того, чтобы предполагать, что оно превосходит разницу в коде.

Обратите внимание на то, чего не было в формуле: численность персонала. Реальный результат для команды контроля качества - это не уменьшение количества людей. Это те же люди, которые освещают большую часть продукта, тратя свое мнение на риски и крайние случаи, а не на четвертое переписывание процесса оформления заказа в этом квартале.

Для компании, в которой вообще нет инженеров по контролю качества

Сравнение здесь не происходит с наймом агента и специалиста по обеспечению качества. Это написанные агентом тесты, проверенные разработчиком, в сравнении с текущим состоянием, которое обычно не представляет собой тестов и является надеждой. Это полностью меняет вопрос. Проекты агента не конкурируют с тестами профессионала; они ни с чем не конкурируют, и нет ничего дорогого, что никогда не появится в бюджетной статье: неработающий логин, который клиент находит раньше вас, выпуск, который вы отложили, потому что ему никто не доверял.

Стоимость также честна. Основатель или разработчик теперь тратит R часов за цикл на просмотр тестов, а не на их написание. Это время реально. Возможно, это меньше, чем создание с нуля, но это пилотный результат, который нужно измерить. Знакомство с проверкой пул-реквестов помогает, хотя проверка оракула - это отдельный навык. Безубыточность зависит от времени проверки и ремонта, затрат на инструменты и выполнение, а также ожидаемой стоимости устраненных дефектов. Обнаружение одной ошибки не означает автоматически, что вложения окупились.

Ставка дисконтирования по каждой претензии AI

Три режима отказа съедают экономию, и каждый соответствует чему-то, что можно протестировать. Неправильные оракулы: тесты, которые утверждают во всплывающем сообщении вместо результата, отмеченного зеленой галочкой, не являются доказательством. Хрупкие локаторы: черновики, которые фотографируют DOM вместо именования элементов управления, описанные в разделе "Ваш локатор - это контракт". Небезопасное исследование: агент читает враждебные страницы без ограждения, прикрытого. Агенту с браузером требуется ограждение. Поставщик, который не может сказать вам, как работает его поверхность обзора, качество селектора и границы пробега, просит вас принять экономию на веру.

Рабочий лист

Запишите за последние четыре недели: часы, потраченные на разработку регрессионных тестов, часы на их исправление, регрессии, которые ускользнули от пользователей, и то, во что вам обошлась одна ускользнувшая ошибка в реальном выражении. Затем опробуйте агента на одном критическом потоке в течение двух недель и запишите часы проверки и часы ремонта. Включите плату за инструменты, вычисления и настройку среды при конвертации часов в денежную оценку; сама по себе формула мощности не является формулой экономии денежных средств. Инструменты, которые делают этот цикл дешевым, четко описывают форму: AnyTest принимает URL-адрес, его агенты исследуют и составляют сквозные тесты, а человек проверяет каждый шаг, прежде чем пакет сохранится. Если R плюс F вашего пилота явно ниже вашей старой A, у вас есть ответ в ваших собственных цифрах, которым стоит доверять.

Ни один другой тест не примет это решение за вас. Арифметика будет.