Comparing Automated Testing Approaches for FPS Games

• Main Authors: Nilsson, Felix, Nilsson, Jesper
• Format: Others
• Language: English
• Published: Blekinge Tekniska Högskola, Institutionen för datavetenskap 2021
• Subjects: Automated Testing; Record and Replay; Script-Based Testing; FPS; Automatiserad Testning; Spela in och Spela upp; Skriptbaserad testning; Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:bth-22068

Background. One important part of creating quality games is to make sure thegames work as intended. It is done by testing the game, often by playtesters that play the game repeatedly to identify problems. It is a time-consuming task, and some of the testing can be automated. Objectives. This thesis explores two different automated testing approaches. The approaches selected are Record and Replay, and Script-Based Testing. The testing approaches are evaluated on a commercial FPS game. Methods. The scientific method used in this thesis was an experiment to collect data on the two testing approaches. The testing approaches were implemented and then tested on the game. The data collected was the time to create a test case andthe execution time of the test. Results. Creating tests with the Script-Based approach was significantly slower compared to Record and Replay. There was no significant difference in execution time between Record and Replay and Script-Based Testing, but the Script-Based approach is slightly faster in most tests. Conclusions. Record and Replay and Script-Based Testing have different strengths and weaknesses. Record and Replay is fast at creating tests but is not adaptable to changes in the 3D world. Script-Based Testing is slow at creating tests but is adaptable, and therefore less maintenance is required. === Bakgrund. En viktig del av att göra ett bra spel är att säkerställa att spelet fungerar som det ska. Det görs genom testning, oftast av speltestare som spelar spelet om och om igen för att hitta fel. Det är en tidskrävande uppgift och en del av testningen kan automatiseras. Syfte. Denna avhandling undersöker två olika automatiserade testmetoder. De valda metoderna är spela in och spela upp och skriptbaserad metod. Testmetoderna utvärderas på ett kommersiellt FPS-spel. Metod. Den vetenskapliga metoden som användes i denna avhandling var ett exper-iment för att samla in data om de två testmetoderna. Testmetoderna implementerades och testades sedan på spelet. Den insamlade datan var tiden för att skapa ett testfall och testets exekveringstid. Resultat. Att skapa tester med det skriptbaserade metoden var betydligt långsammare jämfört med spela in och spela upp. Det fanns ingen signifikant skillnad i exekveringstid mellan spela in och spela upp och skriptbaserad testning, men den skriptbaserade metoden är något snabbare i de flesta tester. Slutsatser. Spela in och spela upp och den skriptbaserad metoden har olika styrkor och svagheter. Spela in och spela upp är snabbt att skapa tester men kan inte anpassas till förändringar i 3D-världen. Skriptbaserade metoden är långsam när det gäller att skapa tester men är anpassningsbar och därför krävs mindre underhåll.