Datadriven beteendemodellering med genetisk programmering

• Main Authors: Borak, Kim, Vilén, Gabriel
• Format: Others
• Language: Swedish
• Published: KTH, Skolan för informations- och kommunikationsteknik (ICT) 2015
• Subjects: Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-177561

Inom Totalförsvarets forskningsinstitut och Försvarsmakten finns behov av att enklare och mer effektivt (med avseende på kostnad och tid) kunna skapa bättre, mer realistiska och objektiva beteenden för de syntetiska aktörer som ingår i Försvarsmaktens simuleringsbaserade beslutsstöds- och träningsapplikationer. Den traditionella metoden för anskaffning av kunskap om ett beteende, vid utveckling av beteendemodeller, är att arbeta med experter inom ämnesområdet. Den här processen är ofta tidskrävande och dyr. Ett annat problem är att komplexiteten är begränsad av expertens kunskap och dess kognitiva förmågor. För att möta problemen undersöker den här studien en alternativ metod till utvecklandet av beteendemodeller med hjälp av maskininlärningsalgoritmer. Det här tillvägagångsättet kallas datadriven beteendemodellering. Datadriven beteendemodellering skiljer sig avsevärt från den traditionella domänexperts-metoden. I den datadrivna bygger datorprogram självständigt beteendemodellerna utifrån data och observationer utan mänsklig inverkan, medan domänexperts-metoden utvecklas för hand av människor. I studien utvecklas datadriven beteendemodellering med genetisk programmering, en maskininlärningsteknik inspirerad av den biologiska evolutionen. Tekniken går ut på att datorn försöker hitta de bästa möjliga programmen för att lösa en användardefinierad uppgift med hjälp utav, bland annat, en lämplighetsfunktion som betygsätter programmen. I den här studien byggs ett system som utför datadriven beteendemodellering med genetisk programmering för att utveckla en mjukvaruagents beteende i en simulator. I projektet användes en vargsimulator för att försöka lära upp en varg att jaga och sluka flyende får. Simulatorgenererad data används av agenten för att lära sig rörelsebeteenden via utforskning (eng. trial-and-error). Systemet är generellt genom dess förmåga att kunna anpassas till andra simuleringar och olika beteendemodeller. Resultatet av experimenten utförda med systemet visar att en upplärd varg lyckades utveckla ett skickligt datadrivet beteende där den jagade och slukade alla 46 får på under tio minuter. I jämförelse lyckades en fördefinierad skriptad centroidalgoritm äta upp fåren på ungefär åtta minuter. Slutsatsen är att lyckade och effektiva datadrivna beteenden kan utvecklas med genetisk programmering, åtminstone för detta problem, om de tillåts tillräckligt lång simuleringstid, bra konfiguration samt en gynnsam och rättvis lämplighetsfunktion. === Within the Swedish Defence Research Agency and the Swedish Armed Forces there is a need to easier and more efficiently (in terms of cost and time) create better, more realistic and objective behaviour for the synthetic actors involved in the Armed Forces’ simulation-based decision support, and training applications. The traditional method for the acquisition of knowledge about a behaviour, in the development of behavioural models, is working with experts on the subject. This process is often time consuming and expensive. Another problem is that the complexity is limited by the expert knowledge and his cognitive abilities. To address the problems this study investigates an alternative approach to the development of behavioural models. The new method develops behavioural models of machine learning algorithms instead of manually creating models. This approach is called data-driven behaviour modelling. Data-driven behaviour modelling differs significantly from the traditional subject-matter expert method. The data-driven computer program creates autonomous behaviour models based on data and observations without human influence, while the subject-matter expert method is developed manually by humans. In this study data-driven behaviour modelling with genetic programming is developed, a machine learning technique inspired by the biological evolution. The technique let’s the computer trying to find the best possible programs in order to solve a user defined task with help of, for instance, a fitness function that rates the programs. This thesis presents a system that performs data-driven behaviour modelling with genetic programming to develop a software agent's behaviour in a simulator. The study used a wolf simulator to try to teach a wolf to hunt and devour fleeing sheep. Simulator-generated data is used by the agent to learn behaviours through exploration (trial-and-error). The system is generally applicable by its ability to be adapted to other simulations with simple adjustments in a configuration file. The system is also adaptable to many different behaviour models by its basic execution structure. The results of the experiments performed with the system show that a trained wolf succeeded to develop a clever data-driven behaviour where it hunted and devoured all of the 46 sheeps in less than ten minutes. In comparison a predefined centroid algorithm managed to eat the sheep in about eight minutes. The conclusion is that successful and efficient data-driven behaviours can be developed, at least regarding this problem, if allowed a sufficiently long simulation time, good configuration and a favourable and equitable fitness function.