რას ზოგავს აგენტური QA და რა ჯდება ის

ხელოვნური ინტელექტის ტესტირების ყოველი შეთავაზება ციტირებს საათებს, რომლებსაც დაზოგავთ. თითქმის არცერთი მათგანი არ ასახავს თქვენს მიერ გატარებულ საათებს. ეს სტატია აკეთებს არითმეტიკას ნელა, ყოველი რიცხვის გვერდით დაბეჭდილი ვარაუდებით, რადგან ავტომატიზაციაზე უარესი ერთადერთი რამ არის ავტომატიზაცია, რომლის ღირებულებაც არასოდეს გაგიზომავთ.

გუნდისთვის, რომელსაც უკვე ჰყავს QA ინჟინრები

სამუშაოს განმეორებადი ნახევარი არის რეგრესია: ერთი და იგივე login-checkout-settings ნაკადების დაწერა და შემდეგ მათი შენარჩუნება ყოველ ჯერზე, როცა UI მოძრაობს. აგენტები სწორედ ამ ნახევარს უტევენ. ისინი იკვლევენ აპს, ამუშავებენ ნაკადებს და ხელახლა ქმნიან მათ, როცა რამე იცვლება. როდესაც პროექტები სასარგებლოა, QA ინჟინრებს შეუძლიათ ნაკლები დრო დახარჯონ განმეორებადი ნაკადების აკრეფაზე და მეტი მიმოხილვაზე, რისკის ანალიზსა და საძიებო ტესტირებაზე. ეს არის შესაძლო ტევადობის გაზომვა და არა დაპირებული ცვლილება ყველა გუნდში.

გაუშვით წიგნი თითო სპრინტზე. აიღეთ საათები, რომლებსაც თქვენი გუნდი ადრე ატარებდა რეგრესიის ტესტების წერასა და შეკეთებაზე, დაარქვი A. აიღეთ ის საათები, რომლებსაც ახლა ხარჯავს აგენტის მიერ დაწერილი ტესტების განხილვაზე, დაარქვი R, და საათები შეაკეთეთ არასწორად დაბრუნებული მონახაზები, დაარქვით F. მიღებული წმინდა სიმძლავრე არის A მინუს R მინუს F. ავტომატიზაცია იმარჯვებს, როდესაც A უფრო დიდია, ვიდრე სხვა ორი ფაქტორის ჯამი. საჭიროებს თუ არა ნახაზებს ვრცელი შეკეთება. ნაბიჯების წაკითხვადი ვადები შეიძლება დაეხმაროს თქვენს გუნდს; გაზომეთ განხილვის დრო იმის ნაცვლად, რომ ვივარაუდოთ, რომ ის სცემს კოდის განსხვავებას.

ყურადღება მიაქციეთ რა არ ჩანს ფორმულაში: პერსონალის რაოდენობა. QA გუნდისთვის რეალისტური შედეგი არ არის ნაკლები ხალხი. ეს არის იგივე ადამიანები, რომლებიც აშუქებენ პროდუქტის მეტ ნაწილს და ხარჯავენ თავიანთ განსჯას რისკებსა და ზღვრულ საქმეებზე, ვიდრე ამ კვარტალში გადახდის ნაკადის მეოთხე გადაწერაზე.

კომპანიისთვის, რომელსაც არ აქვს QA ინჟინრები

აქ შედარება არ არის აგენტი QA დაქირავებასთან. ეს არის აგენტის მიერ დაწერილი ტესტები, რომლებიც განიხილება დეველოპერის მიერ არსებული მდგომარეობის წინააღმდეგ, რაც, როგორც წესი, არ არის ტესტები და იმედი. ეს სრულიად ცვლის კითხვას. აგენტის დრაფტები არ ეჯიბრება პროფესიონალის ტესტებს; ისინი არაფერს ეჯიბრებიან და არაფერი არ არის ძვირი ისე, რომ არასდროს ჩნდება ბიუჯეტის ხაზში: გატეხილი შესვლა, რომელსაც მომხმარებელი აღმოაჩენს თქვენამდე, გამოშვება, რომელიც თქვენ გადადგით, რადგან მას არავინ ენდობოდა.

ხარჯების მხარეც პატიოსანია. დამფუძნებელი ან დეველოპერი ახლა ხარჯავს R საათს ციკლში ტესტების განხილვის ნაცვლად, დაწეროს ისინი. ეს დრო რეალურია. ეს შეიძლება იყოს უფრო მცირე, ვიდრე ავტორიზაცია ნულიდან, მაგრამ ეს საპილოტე შედეგია გასაზომად. pull-request მიმოხილვის გაცნობა ეხმარება, თუმცა test-oracle მიმოხილვა ცალკე უნარია. გაფუჭება დამოკიდებულია განხილვისა და შეკეთების დროზე, ხელსაწყოსა და შესრულების ხარჯებზე და აღმოფხვრილი დეფექტების მოსალოდნელ ღირებულებაზე. ერთი შეცდომის დაჭერა ავტომატურად არ ამტკიცებს, რომ ინვესტიცია გადახდილია.

ფასდაკლების განაკვეთი ყველა AI პრეტენზიაზე

წარუმატებლობის სამი რეჟიმი ხარჯავს დანაზოგს, და თითოეული ასახავს რაიმე ტესტირებას. არასწორი ორაკულები: ტესტები, რომლებიც ამტკიცებენ შეტყობინებაზე შედეგის ნაცვლად, დაფარული მწვანე გამშვები ნიშნით, არ არის მტკიცებულება. მყიფე ლოკატორები: დრაფტები, რომლებიც ასახავს DOM-ს კონტროლერების დასახელების ნაცვლად, რომელიც დაფარულია თქვენი ლოკატორით, არის კონტრაქტი. სახიფათო გამოკვლევა: აგენტი, რომელიც კითხულობს მტრულ გვერდებს ღობის გარეშე, დაფარულია ბრაუზერის მქონე აგენტს სჭირდება ღობე. გამყიდველი, რომელიც ვერ გეტყვით, როგორ მუშაობს მისი მიმოხილვის ზედაპირი, მისი სელექტორის ხარისხი და მისი გაშვების საზღვრები, გთხოვს დაზოგოთ რწმენაზე.

სამუშაო ფურცელი

ჩაწერეთ თქვენი ბოლო ოთხი კვირის განმავლობაში: რეგრესიის ტესტების ავტორისთვის დახარჯული საათები, მათი შეკეთების საათები, მომხმარებლებისთვის მიმავალი რეგრესიები და რეალურად რა დაგიჯდათ ერთი გადარჩენილი შეცდომა. შემდეგ პილოტირება აგენტი ერთ კრიტიკულ ნაკადზე ორი კვირის განმავლობაში და ჩაწერეთ განხილვის საათები და სარემონტო საათები. ჩართეთ ხელსაწყოების საფასური, გამოთვლები და გარემოს დაყენება, როდესაც საათები ფულის შეფასებად გარდაიქმნება; მხოლოდ სიმძლავრის ფორმულა არ არის ნაღდი ფულის დაზოგვის ფორმულა. ინსტრუმენტები, რომლებიც ამ მარყუჟს იაფად აქცევს, აშკარაა ფორმის შესახებ: AnyTest იღებს URL-ს, მისი აგენტები იკვლევენ და ამზადებენ ბოლო-ბოლო ტესტებს და ადამიანი განიხილავს თითოეულ ნაბიჯს კომპლექტის შენახვამდე. თუ თქვენი პილოტის R პლუს F აშკარად ქვემოთაა თქვენი ძველი A, თქვენ გაქვთ თქვენი პასუხი, თქვენივე ნომრებით, რომელთა ნდობა მხოლოდ ღირს.

ამ გადაწყვეტილებას თქვენ მაგივრად არავინ მიიღებს. არითმეტიკული ნება.