Повторний запуск не виправляє тест
Успіх із другої спроби не скасовує першого збою. Збережіть цей факт, порахуйте повторну роботу й призначте відповідального за нестабільний тест.
Перекладне видання. Технічні ідентифікатори залишаються в оригінальній формі.
Розглянемо ілюстративний запуск випуску: тест оформлення замовлення не вдається, виконується знову та проходить. Панель приладів зелена. Ніхто не розслідує. Наступний випуск повторює шаблон. Ви зменшили кількість червоних інформаційних панелей, не дізнавшись, чи перевірка є надійною.
Playwright розрізняє три результати у своєму посібнику з повторних спроб: пройдено з першої спроби, невдало після невдалої спроби, після якої наступить успіх, і невдало після доступних спроб. Це різні докази. Створений набір повинен зберігати відмінності, а не згладжувати кожен можливий крок до успіху. Практичним артефактом для цієї статті є книга повторних спроб, яка зберігає остаточний колір інформаційної панелі.
Що насправді змінює повторна спроба
Повторна спроба дає той самий тест ще один шанс виконати. Він не виправляє слабке перевірка, не відновлює селектор або не розділяє два облікові записи, які перезаписують налаштування один одного. Playwright відкидає невдалий робочий процес і починає інший. Його задокументовані приклади показують, що хук beforeAll знову працює в новому воркері. Тому налаштування та очищення входять у розрахунок вартості, а не лише секунди, проведені в тестовому корпусі.
Новий браузер - це не обов'язково нова база даних. Якщо перша спроба створила порядок перед невдачею, наступна спроба може зустріти цей порядок. Перегляньте згенеровані тести на зовнішні побічні ефекти та визначте, чи безпечно повторювати очищення. Повторна спроба покупки проти виробництва не є прийнятним експериментом; використовувати проміжні дані та обмежений тестовий обліковий запис.
Реєстраційна книга, яку слід зберігати поруч із CI
Для кожного тесту запишіть його стабільний ідентифікатор, результат першої спроби, кінцевий результат, кількість спроб, доказовий зв'язок, підозрювану причину, власника та дату наступного огляду. Збережіть невдачу першої спроби, навіть якщо остання спроба пройшла. Команда без спеціального інженера з контролю якості може призначити право власності розробнику, який володіє потоком, замість того, щоб дозволити автоматизації створити чергу без власності.
Книга також є корисною поверхнею для огляду для тестів, написаних агентами. Попросіть агента скласти сценарій, а потім попросіть людину перевірити його налаштування, перевірка та очищення. Політика повторних спроб є налаштуванням бігуна, а не заміною цього перегляду. Загальнодоступна сторінка AnyTest описує дослідження за допомогою URL-адреси та перевірку набору людьми; він не встановлює, як має бути обраний ваш конкретний бюджет повторних спроб CI.
Постав цифри на повторній роботі
Використовуйте ілюстративний розрахунок із явними припущеннями. Припустімо, що для кожного з десяти тестів потрібна одна додаткова спроба, яка займає двадцять секунд, а перезапуск налаштування додає п'ять секунд на спробу. Це десять разів по двадцять п'ять секунд, або 250 секунд додаткової роботи виконання. Це не обов'язково 250 секунд затримки настінного годинника, оскільки паралельні працівники можуть збігатися. Записуйте як роботу бігуна, так і час конвеєра, що минув, якщо відмінність має значення для вашого рахунку або вікна випуску.
Потім додайте час, який хтось витрачає на читання нестабільних звітів. Якщо агент зберігає годину розробки, але залишає годину повторного дослідження, сам по собі номер авторства не описує економію. Для існуючої команди контролю якості метою є менше повторної роботи та більше часу для аналізу ризиків. Для невеликої команди без контролю якості метою є корисне покриття, яке розробник може фактично підтримувати.
Правило випуску, яке ви можете пояснити
Почніть із невеликого обмеженого параметра повторної спроби та видимої нестійкої категорії. Замість того, щоб мовчки збільшувати ліміт, посиліть повторні помилки з першої спроби. Правильний поріг залежить від продукту та ризику випуску; не існує універсального підрахунку, який би дозволив нестабільну касу. Додайте власника ремонту та докази, перш ніж прийняти виняток.
Питання під час огляду просте: друга спроба дала нові докази чи просто колір, який ми віддали перевагу? Зберігайте невдалу спробу, доки хтось не зможе відповісти.
Загальні запитання
Чи вважається успішним тест після повторної спроби?
Драматург класифікує невдачу з першої спроби, а потім успішну повторну спробу, як нестабільну, а не як проходження з першої спроби. Зберігайте цю відмінність у звітах про випуск.
Як команда повинна вимірювати вартість повторних спроб?
Підрахуйте додаткові спроби, виконання тесту, повторне налаштування та час перегляду. Робота бігуна та затримка конвеєра настінного годинника відрізняються, коли спроби збігаються.
Чи скидають нові працівники Playwright дані сервера?
Замінник і браузер не видаляють автоматично стан зовнішньої програми. Спроектуйте повторювані налаштування та очищення для проміжних даних.