Devising a Trend-break-detection Algorithm of stored Key Performance Indicators for Telecom Equipment

A problem that is prevalent for testers at Ericsson is that performance test results are continuously generated but not analyzed. The time between occurrence of problems and information about the occurrence is long and variable. This is due to the manual analysis of log files that is time consuming...

Full description

Bibliographic Details
Main Authors: Hededal Klincov, Lazar, Symeri, Ali
Format: Others
Language:English
Published: KTH, Data- och elektroteknik 2017
Subjects:
Online Access:http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-208965
Description
Summary:A problem that is prevalent for testers at Ericsson is that performance test results are continuously generated but not analyzed. The time between occurrence of problems and information about the occurrence is long and variable. This is due to the manual analysis of log files that is time consuming and tedious. The requested solution is automation with an algorithm that analyzes the performance and notifies when problems occur. A binary classifier algorithm, based on statistical methods, was developed and evaluated as a solution to the stated problem. The algorithm was evaluated with simulated data and produced an accuracy of 97.54 %, to detect trend breaks. Furthermore, correlation analysis was carried out between performance and hardware to gain insights in how hardware configurations affect test runs. === Ett allmänt förekommande problem för testare på Ericsson är att resultat från flera prestandatester genereras kontinuerligt men inte analyseras. Tiden mellan förekommande fel och informationen av dessa är hög och varierande. Detta på grund av manuell analys av loggfiler som är tidsödande och ledsamt. Den efterfrågade lösningen är automatisering med en algoritm, baserad på statistisk metodik, som analyserar data om prestanda och meddelar när problem förekommer. En algoritm för binär klassifikation utvecklades och utvärderades som lösning till det fastställda problemet. Algoritmen utvärderades med simulerad data och alstrade en noggrannhet på 97,54%, för att detektera trendbrott. Dessutom utfördes korrelationsanalys mellan prestandan och hårdvaran för att få insikt i hur hårdvarukonfigurationen påverkar testkörningar.