განმეორებითი გაშვება ხარვეზს არ ასწორებს
ტესტმა მეორე ცდაზე წარმატებით იმუშავა, მაგრამ პირველი მარცხი არ გამქრალა. შეინახეთ ეს ფაქტი, დაითვალეთ განმეორებითი მუშაობის ხარჯი და დანიშნეთ პასუხისმგებელი.
ნათარგმნი გამოცემა. ტექნიკური იდენტიფიკატორები რჩება თავდაპირველ ფორმაში.
განვიხილოთ გამოშვების საილუსტრაციო გაშვება: შეკვეთის ტესტი ჩავარდა, კვლავ გადის და გაივლის. დაფა მწვანეა. არავინ იძიებს. შემდეგი გამოშვება იმეორებს ნიმუშს. თქვენ შეამცირეთ წითელი დაფების რაოდენობა ისე, რომ არ გაიგოთ, რამდენად სანდოა გადახდა.
Playwright თავის ხელახალი ცდების სახელმძღვანელოში განასხვავებს სამ შედეგს: გადაცემული პირველი მცდელობისას, ფანტელი წარუმატებელი მცდელობის შემდეგ, რასაც მოჰყვება წარმატება და წარუმატებელი მცდელობის შემდეგ. ეს არის სხვადასხვა მტკიცებულება. გენერირებულმა კომპლექტმა უნდა შეინარჩუნოს განსხვავება და არა გაათანაბროს ყოველი საბოლოო ნაბიჯი წარმატებამდე. ამ სტატიის პრაქტიკული არტეფაქტი არის ხელახალი საცდელი წიგნი, რომელიც გადარჩება დაფის საბოლოო ფერს.
განმეორებითი ცდა რეალურად იცვლება
ხელახალი ცდა იგივე ტესტს გაშვების კიდევ ერთ შანსს აძლევს. ის არ ასწორებს სუსტ შემოწმებას, არ ასწორებს სელექტორს ან არ გამოყოფს ორ ანგარიშს, რომლებიც გადაწერენ ერთმანეთის პარამეტრებს. Playwright უგულებელყოფს წარუმატებელ სამუშაო პროცესს და იწყებს მეორეს. მისი დოკუმენტირებული მაგალითები გვიჩვენებს, რომ beforeAll hook კვლავ მუშაობს ახალ მუშაკში. შესაბამისად, დაყენება და გასუფთავება მიეკუთვნება ხარჯების გაანგარიშებას და არა მხოლოდ ტესტის სხეულში გატარებულ წამებს.
ახალი ბრაუზერი სულაც არ არის ახალი მონაცემთა ბაზა. თუ პირველმა მცდელობამ შექმნა შეკვეთა წარუმატებლობამდე, შემდეგი მცდელობა შეიძლება შეხვდეს ამ შეკვეთას. გადახედეთ გენერირებულ ტესტებს გარე გვერდითი ეფექტებისთვის და დაადგინეთ უსაფრთხოა თუ არა გაწმენდის განმეორება. წარმოების წინააღმდეგ შესყიდვის ხელახლა ცდა არ არის მისაღები ექსპერიმენტი; გამოიყენეთ დადგმის მონაცემები და შეზღუდული ტესტის ანგარიში.
წიგნი, რომელიც ინახება CI-ს გვერდით
თითოეული ტესტისთვის ჩაწერეთ მისი სტაბილური იდენტიფიკატორი, პირველი მცდელობის შედეგი, საბოლოო შედეგი, მცდელობების რაოდენობა, მტკიცებულებების ბმული, სავარაუდო მიზეზი, მფლობელი და შემდეგი განხილვის თარიღი. შეინახეთ პირველი მცდელობა მარცხი მაშინაც კი, თუ საბოლოო მცდელობა გაივლის. გუნდს, რომელსაც არ აქვს გამოყოფილი QA ინჟინერი, შეუძლია საკუთრება მიანიჭოს დეველოპერს, რომელიც ფლობს ნაკადს, ვიდრე ავტომატიზაციას მისცეს უფლება შექმნას უპატრონო რიგი.
წიგნი ასევე არის სასარგებლო განხილვის ზედაპირი აგენტის მიერ დაწერილი ტესტებისთვის. სთხოვეთ აგენტს შეადგინოს სცენარი, შემდეგ კი ადამიანმა შეამოწმოს მისი დაყენება, შემოწმება და გასუფთავება. ხელახლა ცდის პოლიტიკა არის მორბენალი პარამეტრი და არა ამ მიმოხილვის შემცვლელი. AnyTest-ის საჯარო გვერდი აღწერს URL-ის ხელმძღვანელობით შესწავლას და ადამიანთა კომპლექტის მიმოხილვას; ის არ ადგენს, თუ როგორ უნდა შეირჩეს თქვენი კონკრეტული CI ხელახალი ცდის ბიუჯეტი.
განათავსეთ რიცხვები განმეორებით სამუშაოზე
გამოიყენეთ საილუსტრაციო გამოთვლა მკაფიო ვარაუდებით. დავუშვათ, ათ ტესტს სჭირდება ერთი დამატებითი მცდელობა, რომელსაც ოცი წამი სჭირდება და დაყენების გადატვირთვა თითო მცდელობას ხუთ წამს ემატება. ეს არის ათჯერ ოცდახუთი წამი, ანუ 250 წამი დამატებული შესრულების სამუშაო. ეს სულაც არ არის 250 წამის კედლის საათის დაგვიანება, რადგან პარალელურ მუშაკებს შეუძლიათ გადახურვა. ჩაწერეთ როგორც მორბენალი სამუშაოები, ასევე მილსადენის გასული დრო, თუ განსხვავება მნიშვნელოვანია თქვენი კანონპროექტისთვის ან გამოშვების ფანჯრისთვის.
შემდეგ დაამატეთ დრო, რომელსაც ვიღაც ატარებს ფანტასტიური მოხსენებების კითხვას. თუ აგენტი დაზოგავს ერთ საათს ავტორიზაციაში, მაგრამ ტოვებს საათს განმეორებით გამოძიების დროს, მხოლოდ ავტორის ნომერი არ აღწერს დანაზოგს. არსებული QA გუნდისთვის მიზანია ნაკლები განმეორებითი სამუშაო და მეტი დრო რისკის ანალიზისთვის. QA-ს გარეშე მცირე გუნდისთვის მიზანი არის სასარგებლო გაშუქება, რომელსაც დეველოპერს შეუძლია რეალურად შეინარჩუნოს.
გათავისუფლების წესი, რომლის ახსნა შეგიძლიათ
დაიწყეთ მცირე შემოსაზღვრული ხელახალი ცდის პარამეტრით და ხილული ფანტელი კატეგორიით. გაზარდეთ განმეორებითი პირველი მცდელობის წარუმატებლობა, ნაცვლად ჩუმად გაზრდის ლიმიტისა. სწორი ბარიერი დამოკიდებულია პროდუქტსა და გამოშვების რისკზე; არ არსებობს უნივერსალური რაოდენობა, რომელიც აქცევს ფანტასტიკურ გადახდას მისაღები. მიამაგრეთ რემონტის მფლობელი და მტკიცებულებები გამონაკლისის მიღებამდე.
განხილვისას კითხვა მარტივია: მეორე მცდელობამ შექმნა ახალი მტკიცებულება, თუ უბრალოდ ფერი, რომელიც ჩვენ ვამჯობინეთ? გააგრძელეთ წარუმატებელი მცდელობა მანამ, სანამ ვინმე არ პასუხობს.
საერთო კითხვები
ტესტი, რომელიც გაივლის განმეორებით, ჩაბარებული ტესტია?
დრამატურგი კლასიფიცირებს პირველი მცდელობის წარუმატებლობას, რასაც მოჰყვება წარმატებული განმეორებითი მცდელობა, როგორც გაფანტული და არა როგორც პირველი მცდელობის გადაცემა. შეინარჩუნეთ ეს განსხვავება გამოშვების მოხსენებაში.
როგორ უნდა შეაფასოს გუნდმა განმეორებითი ცდის ღირებულება?
დაითვალეთ დამატებითი მცდელობები, ტესტის შესრულება, განმეორებითი დაყენება და განხილვის დრო. მორბენალის მუშაობა და კედლის საათის მილსადენის დაყოვნება განსხვავდება მცდელობების გადახურვისას.
განაახლებს თუ არა დრამატურგის ახალი მუშები სერვერის მონაცემებს?
შემცვლელი მუშაკი და ბრაუზერი ავტომატურად არ წაშლის გარე აპლიკაციის მდგომარეობას. შეიმუშავეთ განმეორებადი დაყენება და გასუფთავება მონაცემთა დადგმისთვის.