Emotion Detection from Electroencephalography Data with Machine Learning : Classification of emotions elicited by auditory stimuli from music on self-collected data sets

• Main Author: Söderqvist, Filip
• Format: Others
• Language: English
• Published: KTH, Skolan för kemi, bioteknologi och hälsa (CBH) 2021
• Subjects: Electroencephalography; Deep learning; Machine learning; Likeability; Valence; Arousal; Emotion detection; Elektroencefalografi; Djupinlärning; Maskininlärning; Omtyckthet; Valens; Aktiveringsgrad; Känslodetektion; Medical Engineering; Medicinteknik
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-296703

The recent advances in deep learning have made it state-of-the-art for many different tasks, making its potential usefulness for analyzing electroencephalography (EEG) data appealing. This study aims at automatic feature extraction and classification of likeability, valence, and arousal elicited by auditory stimuli from music by training deep neural networks (DNNs) on  minimally pre-processed multivariate EEG time series. Two data sets were collected, the first containing 840 samples from 21 subjects, the second containing 400 samples from a single subject. Each sample consists of a 30 second EEG stream which was recorded during music playback. Each subject in the multiple subject data set was played 40 different songs from 8 categories, after which they were asked to self-label their opinion of the song and the emotional response it elicited. Different pre- processing and data augmentation methods were tested on the data before it was fed to the DNNs. Three different network architectures were implemented and tested, including a one-dimensional translation of ResNet18, InceptionTime, and a novel architecture built upon from InceptionTime, dubbed EEGNet. The classification tasks were posed both as a binary and a three-class classification problem. The results from the DNNs were compared to three different methods of handcrafted feature extraction. The handcrafted features were used to train LightGBM models, which were used as a baseline. The experiments showed that the DNNs struggled to extract relevant features to discriminate between the different targets, as the results were close to random guessing. The experiments with the baseline models showed generalizability indications in the data, as all 36 experiments performed better than random guessing. The best results were a classification accuracy of 64 % and an AUC of 0.638 for valence on the multiple subject data set. The background study discovered many flaws and unclarities in the published work on the topic. Therefore, future work should not rely too much on these papers and explore other network architectures that can extract the relevant features to classify likeability and emotion from EEG data. === Djupinlärning har visat sig vara effektivt för många olika uppgifter, vilket gör det möjligt att det även kan användas för att analysera data från elektroencefalografi (EEG). Målet med denna studie är att genom två egeninsamlade dataset försöka klassificera huruvida någon gillar en låt eller inte samt vilka känslor låten väcker genom att träna djupa neurala nätverk (DNN) på minimalt pre-processade EEG-tidsserier.  För det första datasettet samlades 840 dataexempel in från 21 deltagare. Dessa fick lyssna på 30-sekunders snuttar av 40 olika låtar från 8 kategorier varvid de fick svara på frågor angående vad de tyckte om låten samt vilka känslor den väckte. Det andra datasettet samlade in 400 dataexempel från endast en deltagare. Datan blev behandlad med flera olika metoder för att öka antalet träningsexempel innan det blev visat för de neurala nätverken. Tre olika nätverksarkitekturer implementerades och testades; en endimensionell variant av ResNet18, InceptionTime samt en egenbyggd arkitektur som byggde vidare på InceptionTime, döpt till EEGNet. Nätverken tränades både för binär och tre-klass klassificering.  Resultaten från nätverken jämfördes med tre olika metoder för att bygga egna prediktorer från EEG-datan. Dessa prediktorer användes för att träna LightGBM modeller, vars resultat användes som baslinje. Experimenten visade att DNNsen hade svårt att extrahera relevanta prediktorer för att kunna diskriminera mellan de olika klasserna, då resultaten var nära till godtyckligt gissande. Experimenten med LightGBM modellerna och de handgjorda prediktorerna visade dock indikationer på att det finns relevant information i datan för att kunna prediktera ett visst utfall, då alla 36 experiment presterade bättre än godyckligt gissande. Det bästa resultatet var 64 % träffsäkerhet för valens och binär klassificering, med en AUC på 0.638, för datasettet med många deltagare. Bakgrundsstudien upptäckte många oklarheter och fel i flera av de artiklar som är publicerade på ämnet. Framtida arbete bör därför inte förlita sig på denna alltför mycket. Den bör fokusera på att utveckla arkitekturer som klarar att extrahera de relevanta prediktorer som behövs för att kunna prediktera huruvida någon tycker om en låt eller inte samt vilka känslor denna väckte.