| Summary: | Att sammanställa och analysera kvalitativ data är tids och resurskrävande. Vid många universitet är det praxis att efter en kursomgång samla in data på vad studenter tyckte om kursen i en enkät bestående av både kvantitativa och kvalitativa frågor. Kvantitativa svar är enkla att sammanfatta, medan de kvalitativa svaren behöver läsas igenom; ibland flera gånger och helst av samma person. Det är därför av intresse att kunna effektivisera analysen av dessa kvalitativa svar, särskilt i de fall då de kvalitativa svaren är väldigt många. Sådant är fallet med kursreflektioner i fritext på högskolor och universitet. I denna rapport ämnar vi därför att svara på frågan: Skulle de teman, åsikter och semantiska värden extraherade från automatisk semantisk textanalys av studenters reflektionstexter kunna användas till att underlätta innehållsanalysen av dessa texter? Explorer är ett program utvecklat av företaget Gavagai som utför en interaktiv semantisk analys på en datakälla. För att besvara ovan nämnda fråga har vi undersökt till vilken grad programmet Explorer kan göra korrekta semantiska klassificeringar när den får studenters kursreflektioner som indata. Programmet fastställer sin slutsats genom att extrahera vanligt förekommande teman ur textdatan och sedan analysera hur sentimenten är kring dessa teman. Vi använde Explorer på kursreflektionstexter som studenter vid Kungliga Tekniska Högskolan skrev i kursen DM1587 Programintegrerande kurs i medieteknik om kursen DT1130 Spektrala transformer. DM1587 är en metakurs där studenter reflekterar om kurser de har läst under föregående period. Från de 55 texter som analyserades av Explorer identifierades 9 relevanta teman och 467 semantiska uttryck. Av dessa semantiska uttryck fann vi att 135 av dessa var felklassificerade sett till semantiskt värde. Under arbetets gång uppenbarade det sig att oavsett den semantiska klassificeringens precision behöver det göras fler undersökningar som söker att ta reda på nyttan i en semantisk analys av denna typ av texter. Framtida undersökningar bör göras med intressenter till dessa kursanalyser i fokus för att vidare fastställa huruvida program som Explorer kan nyttjas för att effektivisera analysen av kvalitativa svar. === To compile and analyse qualitative data takes a lot of time and resources. A common practice at several universities is to, towards the end of each course, collect data of what the students thought about the course through a questionnaire consisting of both quantitative and qualitative questions. Quantitative answers are easy to compile, while the qualitative answers require to be read; sometimes more than once and preferably by the same person. Therefore, it would be of interest to improve the analysis of such qualitative answers, especially in the cases where there is a large number of qualitative answers. Such is the case with open answer course reflections at universities. Thus, in this report we intend to answer the following question: Would the themes, opinions and semantic values extracted from automatic semantic analysis of student course reflections be of use when analysing the content of these texts? Explorer is a program developed by the company Gavagai and performs automatic semantic analysis on a datasource. To answer the question above we have investigated to what degree the program Explorer can do correct semantic classifications with student course reflections as input. The program assesses its conclusion by extracting common topics in the text data and then analysing the sentimental values regarding those topics. We used Explorer on course reflection texts that students at the Royal Institute of Technology wrote in the course DM1587 Program Integrating Course in Media Technology about the course DT1130 Spectral Transformations. DM1587 is a meta course where students reflect on courses they have studied during the previous period. From the 55 texts analysed by Explorer where 9 relevant themes identified and 467 semantic expressions. Amongst the semantic expressions we found that 135 of them were of incorrect semantic classification. Throughout our study it became apparent that regardless of how precise the semantic classifications were, further research is necessary that seeks the need of semantic analysis of this type of texts. Future studies should be done focusing on the stakeholders of these course analyses to further assess if a program like Explorer could be of use to improve the analysis of qualitative answers.
|
|---|
