The cost efficiency of exploratory testing:ISTQB certified testing compared with RST

• Main Author: Niittyviita, S. (Sampo)
• Format: Others
• Language: English
• Published: University of Oulu 2017
• Online Access: http://urn.fi/URN:NBN:fi:oulu-201704071442; http://nbn-resolving.de/urn:nbn:fi:oulu-201704071442

The research of software testing and the practices of software testing in the industry are separated by gaps in some areas. One such gap regards Exploratory Testing (ET). ET is probably the most widely used software testing approach in the industry, yet it is lacking research and many of the manuals of software engineering either ignore or look down on it. In addition, ET has the absence of widespread methodology and teaching. Rapid Software Testing (RST) is a complete testing methodology attempting to integrate exploratory testing into the whole spectrum of testing. It has a different basis for testing than the traditional way of testing, which dominates the textbooks and the certifications. International Software Testing Qualifications Board (ISTQB) has created the most successful scheme for certifying testers, having issued more than 470,000 testing certifications worldwide. For this thesis, experiments were performed using RST as a basis. The results were documented as separate bugs and they were reconstructed into ISTQB test cases, which would be required to detect the discovered bugs. These reconstructed test cases were analysed for determining factors affecting test case documentation effectiveness on finding bugs or particular tests benefitting from testing automation. Additionally, comparison was made in terms of time spent between the actual test process (RST testing) and the reconstruction of the test cases (ISTQB test design) to give indication of the required amount of time for each method. The testing phase of the experiments took 5 hours, while the reconstruction of the test cases took 4.5 hours. 33 % of the reconstructed test cases were identified to benefit considerably from test automation. In addition, three types of factors were identified, which have the potential to increase the amount of required test case documentation exponentially; external factors: test speed; platform factors: built-in browser functions and precision factors: level of detail for test cases. === Ohjelmistotestauksen tutkimuksen ja käytännön ohjelmistotestauksen välillä on aukkoja joillakin toiminnan osa-alueilla. Yksi tällainen aukko koskee tutkivaa testausta. Tutkiva testaus on yksi käytetyimmistä lähestymistavoista ohjelmistotestauksen toimialan parissa. Tästä huolimatta, tutkivasta testauksesta on hyvin vähän tutkimusta ja monet ohjelmistotestauksen käsikirjat joko välttävät aiheen tyystin tai vähättelevät sitä. Lisäksi, tutkivasta testauksesta puuttuu laajalle levinnyt metodologia sekä koulutus. Rapid Software Testing (RST) on testausmetodologia pyrkimyksenään integroida tutkiva testaus osaksi testauksen koko kirjoa. Sillä on erilaiset lähtökohdat testaukselle kuin perinteisellä testauksella, joka vallitsee kirjallisuutta sekä testauksen sertifikaatteja. International Software Testing Qualifications Board (ISTQB) on luonut menestyksekkäimmän järjestelmän ohjelmistotestaajien sertifioinnille. Sertifikaatteja on myönnetty yli 470,000 kappaletta. Tämän työn empiirisinä kokeina suoritettiin ohjelmistotestausta käyttäen RST-metodologiaa lähtökohtana. Lopputulokset dokumentoitiin ohjelmistovirheinä, jotka sitten rekonstruoitiin riittäviksi testitapauksiksi löytämään kyseiset ohjelmistovirheet. Nämä rekonstruoidut testitapaukset analysoitiin niiden tekijöiden määrittämiseksi, jotka vaikuttaisivat testitapausten dokumentaation tehokkuuteen ohjelmistovirheiden löytämiseksi. Lisäksi, testausautomaatiosta selkeästi hyötyvät testitapaukset eriteltiin myös. Käytetty aika testaukseen ja rekonstruoimiseen kirjattiin vertailua varten. Kokeiden suoritus kesti kokonaisuudessaan 9,5 tuntia, josta 5 tuntia kului testaukseen ja loput 4,5 tuntia löydettyjen ohjelmistovirheiden rekonstruoimiseen ISTQB-testitapauksiksi. 33% rekonstruoiduista testitapauksista tunnistettiin hyötyvän huomattavasti testausautomaatiosta. Lisäksi tunnistettiin kolme erityyppistä tekijää, joilla on potentiaalia lisätä testausdokumentaation määrää eksponentiaalisesti; ulkoiset tekijät: nopeus; alustan tekijät: selaimen toiminnot sekä tarkkuuden tekijät: testitapausten yksityiskohtaisuus.