Comparative Study of Open-Source Performance Testing tools versus OMEXUS

• Main Author: Xia, Ziqi
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2021
• Subjects: Performance testing; Performance engineering; Information visualization; Quality assurance; User experience; Web services; Prestandatestning; Performance Testing; Prestandateknik; Performance Engineering; Informationsvisualisering; Kvalitetssäkring; Användarupplevelse; Webbtjänster; Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-302650

With the development of service digitalization and the increased adoption of web services, modern large-scale software systems often need to support a large volume of concurrent transactions. Therefore, performance testing focused on evaluating the performance of systems under workload has gained greater attention in current software development. Although there are many performance testing tools available for providing assistance in load generation, there is a lack of a systematic evaluation process to provide guidance and parameters for tool selection for a specific domain. Focusing on business operations as the specific domain and the Nasdaq Central Securities Depository (NCSD) system as an example of large-scale software systems, this thesis explores opportunities and challenges of existing open- source performance testing tools as measured by usability and feasibility metrics. The thesis presents an approach to evaluate performance testing tools concerning requirements from the business domain and the system under test. This approach consists of a user study conducted with four quality assurance experts discussing general performance metrics and specific analytical needs. The outcome of the user study provided the assessment metrics for a comparative experimental evaluation of three open-source performance testing tools (JMeter, Locust, and Gatling) with a realistic test scenario. These three tools were evaluated in terms of their affordance and limitations in presenting analytical details of performance metrics, efficiency of load generation, and ability to implement realistic load models. The research shows that the user study with potential tool users provided a clear direction when evaluating the usability of the three tools. Additionally, the realistic test case was sufficient to reveal each tool’s capability to achieve the same scale of performance as the Nasdaq’s in-house testing tool OMEXUS and provide additional value with realistic simulation of user population and user behavior during performance testing with regard to the specified requirements.  === Med utvecklingen av tjänste-digitalisering och ökad användning av webbtjänster behöver moderna storskaliga mjukvarusystem ofta stödja en stor mängd samtidiga transaktioner. Prestandatestning med fokus på att utvärdera prestanda för system under arbetsbelastning har därför fått större uppmärksamhet i den aktuella programvaru utvecklingen. Även om det finns många verktyg för prestandatestning tillgängliga för att ge hjälp i belastnings generering, saknas det en systematisk utvärderingsprocess för att ge vägledning och parametrar för verktygsval för en viss domän. Med fokus på affärsverksamhet som den specifika domänen och Nasdaq Central Securities Depository (NCSD) -systemet, som ett exempel på storskaliga mjukvarusystem, utforskar denna avhandling möjligheter och utmaningar med befintliga verktyg för prestandatestning med öppen källkod mätt med användbarhets- och genomförbarhet mått. Avhandlingen presenterar ett tillvägagångssätt för att utvärdera prestandatestverktyg avseende krav från företagsdomänen och det system som testas. Detta tillvägagångssätt består av en användarstudie utförd med fyra kvalitetssäkringsexperter som diskuterar allmänna prestandamått och specifika analytiska behov. Resultatet av användarstudien gav bedömningsmåtten för en jämförande experimentell utvärdering av tre verktyg för prestandatestning med öppen källkod (JMeter, Locust och Gatling) med ett realistiskt testscenario. Dessa tre verktyg utvärderades i termer av deras överkomlighet och begränsningar när det gäller att presentera analytiska detaljer om prestandamått, effektiviteten i lastgenereringen och förmågan att implementera realistiska belastningsmodeller. Forskningen visar att användarstudien med potentiella verktygsanvändare gav en tydlig riktning vid utvärdering av användbarheten av de tre verktygen. Dessutom var det realistiska testfallet tillräckligt för att avslöja varje verktygs förmåga att uppnå samma skala av prestanda som Nasdaqs interna testverktyg OMEXUS och ge ytterligare värde med realistisk simulering av användarpopulation och användarbeteende under prestandatestning med avseende på de angivna kraven.