Identifiering av anomalier i COSMIC genom analys av loggar

• Main Authors: Al-egli, Muntaher, Zeidan Nasser, Adham
• Format: Others
• Language: Swedish
• Published: Linköpings universitet, Institutionen för datavetenskap 2015
• Subjects: Information retrieval; log management; real-time monitoring; classification; normalization; aggregation; correlation; vector space model; Boolean retrieval; Lucene; Elasticsearch; Logstash; Kibana; database; COSMIC; Cambio; LIPS; Informationssökning; logghantering; realtidsövervakning; klassificering; normalisering; aggregering; korrelation; vektorrumsmodell; boolesk hämtningsmodell; Elasticserach; databaser
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-123361

Loggar är en viktig del av alla system, det ger en inblick i vad som sker. Att analysera loggar och extrahera väsentlig information är en av de största trenderna nu inom IT-branchen. Informationen i loggar är värdefulla resurser som kan användas för att upptäcka anomalier och hantera dessa innan det drabbar användaren. I detta examensarbete dyker vi in i grunderna för informationssökning och analysera undantagsutskrifter i loggar från COSMIC för att undersöka om det är möjligt att upptäcka anomalier med hjälp av retrospektivdata. Detta examensarbete ger även en inblick i möjligheten att visualisera data från loggar och erbjuda en kraftfull sökmotor. Därför kommer vi att fördjupa oss i de tre välkända program som adresserar frågorna i centraliserad loggning: Elasticsearch, Logstash och Kibana. Sammanfattningsvis visar resultatet att det är möjligt att upptäckta anomalier genom att tillämpa statistiska metoder både på retrospektiv- och realtidsdata. === Logs are an important part of any system; it provides an insight into what is happening. One of the biggest trends in the IT industry is analyzing logs and extracting essential information. The information in the logs are valuable resources that can be used to detect anomalies and manage them before it affects the user In this thesis we will dive into the basics of the information retrieval and analyze exceptions in the logs from COSMIC to investigate whether it is feasible to detect anomalies using retrospective data. This thesis also gives an insight into whether it’s possible to visualize data from logs and offer a powerful search engine. Therefore we will dive into the three well known applications that addresses the issues in centralized logging: Elasticsearch, Logstash and Kibana. In summary, our results shows that it’s possible to detected anomalies by applying statistical methods on both in retrospective and real time data.