Comparative analysis of Machinegenerated questions (Quillionz) and Human-generated questions

• Main Author: Bahy, Mazen
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2020
• Subjects: Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-283121

This thesis investigates the quality of machine-generated questions compared to human-generated questions in terms of the grammar and the clarity of the questions. Limited work has previously been done in the area of comparing them in terms of the grammar and the clarity using different statistic methods to analyze the results. This thesis used machine-generated questions from Quillionz and human-written questions. The type of generated questions was Wh-questions. A survey was conducted and shared over social media to test if the people can determine human- from machine -generated questions and tell us their opinions about the grammar and the clarity of the questions. The results showed that machine- and human- generated questions have almost the same level of quality when it comes to grammar and clarity. At the same time, it showed that people could determine the type of question about 46% of the time. === Den här studien undersöker kvaliteten på maskingenererade frågor jämfört med mänskliga genererade frågor i frågan om grammatiken och tydligheten. Begränsat arbete har tidigare gjorts inom området för att jämföra dem när det gäller grammatiken och tydligheten med hjälp av olika statistiska metoder för att analysera resultaten. I denna studien användes maskingenererade frågor från Quillionz och mänskliga frågor. Typen av genererade frågor var Wh-frågor. En undersökning genomfördes och delades över sociala medier för att testa om folk kan bestämma mänskliga- från maskin- genererade frågor och berätta för oss sina åsikter om frågornas tydlighet och grammatik. Resultaten visade att maskin- och mänskliga- genererade frågor har nästan samma kvalitetsnivå när det gäller grammatik och tydlighet. Samtidigt visade det att människor kunde bestämma typen av fråga ungefär 46% av tiden.