An Analysis of the Reliability of Internet-Based Symptom Checkers

• Main Authors: Despinoy, Eva, Narrowe Danielsson, Sarah
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2020
• Subjects: Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-280350

Symptom checkers are online tools used for suggesting diagnoses and/or giving triage advice based on symptoms inputted by a person. The purpose of this study is to investigate if some specific symptom checkers are reliable by analyzing the diagnosis results and triage advice given when inputted with specific symptoms, and by comparing the questions asked by the different checkers. This was done by testing on four general symptom checkers by inputting them with symptoms for five different illnesses, and on four symptom checkers designed specifically for the disease covid-19, which were inputted with symptoms which corresponded to different severity levels of the illness. The tools used in the study are the Jaccard Index and Cosine Similarity for comparing the questions, and an implementation of the RAKE algorithm which transformed the lists of questions to arrays of keywords. Manual categorizing was used for analyzing the triage advice and the diagnosis results. The results generated were that the symptom checker’s questions were not very similar to each other. The manual categorizing of the general symptom checker’s triage advice showed that most of the general checkers gave advice recommending the patient to use hospital services even though it might not have been necessary. In contrast to this the covid-19 triage advice avoided to recommend the use of hospital services. The diagnosis result of the general symptoms checkers did not place any of the tested illnesses below fifth place in the list of the possible diagnoses. In most cases the correct illness was placed first. In conclusion, according to this study symptom checkers can be seen as quite reliable. However further studies are needed to address the weaknesses of thes study, such as little data and imperfect question comparison results. === Självtester online är tester som utifrån ett antal inmatade symptom ger förslag på diagnoser och/eller rekommendationer för vad nästa steg i att hantera sina symptom borde vara. Det kan handla om att träffa en läkare eller behandla symptomen med egenvård. Syftet med den här studien är att undersöka huruvida vissa utvalda självtester är tillförlitliga, genom att undersöka diagnosförslagen, rekommendationerna och frågorna. Studien genomfördes på fyra generella självtester där symptom för fem olika sjukdomar inmatades, och på fyra självtester online som specifikt skapats för covid-19, där symptom för fyra olika fall som hade symptom för sjukdomen i olika grader inmatades. Strängjämförelseverktygen som användes för att jämföra testernas frågor var Jaccard Index och Cosine Similarity. Frågorna hade först transformerats till listor av nyckelord med RAKE-algoritmen. Diagnosförslagen och rekommendationerna jämfördes och kategoriserades manuellt. Resultatet visade att frågorna från de olika självtesterna var väldigt olika varandra. Den manuella kategoriseringen visade att de generella testerna oftast rekommenderade att uppsöka sjukvården även om det kanske inte alltid behövdes. Däremot undvek självtesterna för covid- 19 att rekommendera kontakt med sjukvården. Ingen av de generella hemsidorna satte rätt diagnos lägre än femteplats i listan på förslag på olika diagnoser. I de flesta fall var rätt diagnos på första plats. Slutligen visade resultatet från den här undersökningen att självtester online verkar vara tillförlitliga. Dock behöver fler studier göras för att hantera svagheterna i den här studien, såsom lite data och potentiellt bristfälliga resultat från frågejämförelserna