A Framework for Anomaly Detection withApplications to Sequences

• Main Author: ERIKSSON, ANDRE
• Format: Others
• Language: English
• Published: KTH, Skolan för datavetenskap och kommunikation (CSC) 2014
• Subjects: Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-156418

Anomaly detection is an important issue in data mining and analysis, with applications in almost every area of science, technology and business that involves data collection.The development of general, automated anomaly detection methods could therefore have a large impact on data analysis across many domains. Due to the highly subjective nature of anomaly detection, there are no generally applicable methods, and for each new application a large number of possible methods must be evaluated. In spite of this, little work has been done to automate the process of anomaly detection research for new applications. In this report, a novel approach to anomaly detection research is presented, in which the task of finding appropriate anomaly detection methods for some specific application is formulated as an optimisation problem over a set of possible problem formulations. In order to facilitate the application of this optimisation problem to applications, a high-level framework for classifying and reasoning about anomaly detection problems is introduced. An application of this optimisation problem to anomaly detection in sequences is presented; algorithms for solving general anomaly detection problems in sequences are given, along with tractable formulations of the optimisation problem for the two major anomaly detection tasks in sequences. Finally, a software implementation of the optimisation problem and framework is presented, along with a preliminary investigation into how it can be used to facilitate anomaly detection research. === Avvikelsedetektion är ett viktigt dataanalysproblem, och återfinns i så gott som samtliga områden inom näringsliv och forskning i vilka storskalig datainsamling sker. Generella, automatiserade metoder för avvikelsedetektion skulle kunna förväntas ha en avsevärd positiv påverkan på många forsknings och affärsområden. Med anledning av att avvikelsedetektion till sin naturbygger på subjektiva bedömningar ter det sig det dock osannolikt att någon generell teori för ämnet skulle kunna finnas, och det finns inga allmänt tillämpbara metoder. Följaktligen kräver tillämpningen av avvikelsedetektion inom nya områden så väl god kompetens inom ämnet som avsevärda mängder manuellt arbete. Detta till trots saknas i dagsläget automatiserade verktyg som underlättar denna process. I denna rapport presenteras ett nytt synsätt på avvikelsedetektion,i vilket uppgiften att finna lämpliga metoder förgivna tillämningar formuleras som ett optimeringsproblem över en mängd problemformuleringar. I samband med detta introduceras även ett ramverk, syftet med vilket är attfrämja formaliseringen av problemformuleringar och därmed möjliggöra tillämpningar av optimerings-problemet. Vidare presenteras en tillämpning på avvikelsedetektion i sekvenser. Generella algoritmer för att lösa avvikelsedetektionsproblem i sekvenser ges tillsammans med tillhörande formuleringar av optimeringsproblemet. Slutligen presenteras en mjukvaruimplementation av optimeringsproblemet och ramverket, tillsammans med en preliminärundersökning av hur dessa kan användas för att underlätta framtida forskning inom ämnet.