Що заощаджує QA з ШІ-агентами та скільки він коштує

Кожна пропозиція для тестування ШІ вказує кількість годин, які ви заощадите. Майже жоден із них не описує години, які ви витратите. Ця стаття робить арифметику повільно, з припущеннями, надрукованими біля кожного числа, тому що єдине, що гірше, ніж відсутність автоматизації, це автоматизація, вартість якої ви ніколи не вимірювали.

Для команди, яка вже має інженерів із забезпечення якості

Повторювана половина роботи - це регресія: написання одних і тих же потоків входу-виписки-налаштувань, а потім їх підтримка кожного разу, коли інтерфейс користувача змінюється. Агенти атакують саме ту половину. Вони вивчають програму, створюють проекти потоків і переробляють їх, коли щось змінюється. Коли чернетки корисні, інженери з контролю якості можуть витрачати менше часу на введення повторюваних потоків і більше на перегляд, аналіз ризиків і дослідницьке тестування. Це можливий приріст потенціалу для вимірювання, а не обіцяна зміна в кожній команді.

Запустіть книгу за спринт. Візьміть години, які ваша команда раніше витратила на написання та виправлення регресійних тестів, назвіть це A. Візьміть години, які вони зараз витрачають на перегляд письмових тестів агента, назвіть це, а години, виправляючи чернетки, які виявилися неправильними, назвіть це F. Чиста отримана потужність дорівнює A мінус R мінус F. Автоматизація виграє, коли A більше, ніж сума інших двох. Варто перевірити два фактори у вашій пілотній програмі: чи поверхня перегляду чітко визначає намір і чи протяги потребують капітального ремонту. Розбірлива шкала кроків може допомогти вашій команді; вимірювати час перегляду замість того, щоб припускати, що він перевищує різницю коду.

Зверніть увагу на те, чого не було у формулі: кількість працівників. Реальний результат для команди QA - це не менше людей. Це ті самі люди, які охоплюють більшу частину продукту, витрачаючи своє судження на ризики та крайні випадки замість четвертого переписування потоку оформлення замовлення цього кварталу.

Для компанії, де взагалі немає інженерів з контролю якості

Порівняння тут не полягає в тому, щоб агент був найнятим для контролю якості. Це тести, написані агентом, перевірені розробником у порівнянні з поточним станом, який зазвичай не є тестами та надією. Це повністю змінює питання. Проекти агента не конкурують з тестами професіонала; вони ні з чим не конкурують, і ніщо не є таким дорогим, що ніколи не з'являється в бюджетній лінії: несправний логін, який клієнт знаходить перед вами, випуск, який ви відклали, тому що йому ніхто не довіряв.

Вартість також чесна. Засновник або розробник тепер витрачає R годин на цикл, переглядаючи тести, замість того, щоб писати їх. Той час реальний. Це може бути меншим, ніж створення з нуля, але це пілотний результат для вимірювання. Знайомство з переглядом запитів на підключення допомагає, хоча перегляд тестового оракула - це окрема навичка. Беззбитковість залежить від часу перевірки та ремонту, витрат на інструмент і виконання, а також очікуваної варсповіщенняі уникнутих дефектів. Виявлення однієї помилки не означає автоматичної окупності інвестицій.

Ставка дисконту на кожну вимогу AI

Три режими збоїв з'їдають заощадження, і кожен відображає щось, що можна перевірити. Неправильні оракули: тести, які стверджують у сповіщенняі замість результату, покритого зеленою галочкою, не є доказом. Крихкі локатори: чернетки, які фотографують DOM замість імен елементів керування, розглянуті в Ваш локатор є контрактом. Небезпечне дослідження: агент, який читає ворожі сторінки без огорожі, покритий Агенту з браузером потрібна огорожа. Постачальник, який не може сказати вам, як працює його оглядова поверхня, якість селектора та межі циклу, просить вас повірити в економію.

Робочий аркуш

Запишіть за останні чотири тижні: години, витрачені на створення регресійних тестів, години на їх ремонт, регресії, які виникли для користувачів, і скільки вам коштувала одна уникнута помилка в реальному вираженні. Потім запустіть агента на один критичний потік протягом двох тижнів і зафіксуйте години огляду та ремонту. Включайте плату за інструменти, обчислення та налаштування середовища під час конвертації годин у грошову оцінку; сама по собі формула потужності не є формулою економії готівки. Інструменти, які роблять цей цикл дешевим, чітко описують форму: AnyTest приймає URL-адресу, його агенти досліджують і проектують наскрізні тести, а людина перевіряє кожен крок перед збереженням набору. Якщо R плюс F вашого пілота явно нижчий вашого старого A, у вас є відповідь у ваших власних цифрах, яким варто довіряти.

Ніякий інший еталон не прийме це рішення за вас. Арифметика буде.