Separating Tweets from Croaks : Detecting Automated Twitter Accounts with Supervised Learning and Synthetically Constructed Training Data

• Main Author: Teljstedt, Erik Christopher
• Format: Others
• Language: English
• Published: KTH, Skolan för datavetenskap och kommunikation (CSC) 2016
• Subjects: bot detection; information operations; synthetically constructed training data; social media analysis; classification; learning systems; social networking (online); classification performance; classification results; machine learning approaches; military conflicts; semi-automatic; automation; Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-192656

In this thesis, we have studied the problem of detecting automated Twitter accounts related to the Ukraine conflict using supervised learning. A striking problem with the collected data set is that it was initially lacking a ground truth. Traditionally, supervised learning approaches rely on manual annotation of training sets, but it incurs tedious work and becomes expensive for large and constantly changing collections. We present a novel approach to synthetically generate large amounts of labeled Twitter accounts for detection of automation using a rule-based classifier. It significantly reduces the effort and resources needed and speeds up the process of adapting classifiers to changes in the Twitter-domain. The classifiers were evaluated on a manually annotated test set of 1,000 Twitter accounts. The results show that rule-based classifier by itself achieves a precision of 94.6% and a recall of 52.9%. Furthermore, the results showed that classifiers based on supervised learning could learn from the synthetically generated labels. At best, the these machine learning based classifiers achieved a slightly lower precision of 94.1% compared to the rule-based classifier, but at a significantly better recall of 93.9% === Detta exjobb har undersökt problemet att detektera automatiserade Twitter-konton relaterade till Ukraina-konflikten genom att använda övervakade maskininlärningsmetoder. Ett slående problem med den insamlade datamängden var avsaknaden av träningsexempel. I övervakad maskininlärning brukar man traditionellt manuellt märka upp en träningsmängd. Detta medför dock långtråkigt arbete samt att det blir dyrt förstora och ständigt föränderliga datamängder. Vi presenterar en ny metod för att syntetiskt generera uppmärkt Twitter-data (klassifieringsetiketter) för detektering av automatiserade konton med en regel-baseradeklassificerare. Metoden medför en signifikant minskning av resurser och anstränging samt snabbar upp processen att anpassa klassificerare till förändringar i Twitter-domänen. En utvärdering av klassificerare utfördes på en manuellt uppmärkt testmängd bestående av 1,000 Twitter-konton. Resultaten visar att den regelbaserade klassificeraren på egen hand uppnår en precision på 94.6% och en recall på 52.9%. Vidare påvisar resultaten att klassificerare baserat på övervakad maskininlärning kunde lära sig från syntetiskt uppmärkt data. I bästa fall uppnår dessa maskininlärningsbaserade klassificerare en något lägre precision på 94.1%, jämfört med den regelbaserade klassificeraren, men med en betydligt bättre recall på 93.9%.