Key Platform Features for Trustworthy A/B-testing

• Main Author: Caspersson, Olle
• Format: Others
• Language: English
• Published: Malmö universitet, Fakulteten för teknik och samhälle (TS) 2018
• Subjects: Web Analytics; Online Controlled Experimentation; Platform Features; A/B-testing; Engineering and Technology; Teknik och teknologier
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:mau:diva-20188

Webbaserade kontrollerade experiment håller alltmer på att bli normen för mjukvaruföretagsom vill bli data-drivna. Ett av de vanligaste experimenten idag är A/Btester.Att få resultat från A/B-tester är enkelt, att få trovärdiga resultat är svårare.Även om forskningsområdet gällande A/B-testning är aktivt så finns det ännu ingenöverenskommen definition av nödvändiga förutsättningar för trovärdig A/B-testning.Denna uppsats presenterar en uppsättning förutsättningar och kopplar samman dessamed egenskaper för A/B-testningsplattformar. Resultaten visar vilka egenskaper enplattform ska inneha för att uppnå trovärdiga resultat. Uppsatsen presenterar ocksåen utvärdering av två vanliga A/B-testningsplattformar. Under denna utvärdering upptäcktesegenskaper som kan ha motsatt effekt på trovärdigheten av resultaten vilketockså diskuteras i uppsatsen. === Web-based controlled experiments are increasingly becoming the norm for softwaredevelopment companies who want to become data-driven. One of the most commonexperiments today is A/B-tests. While it is easy to get results from A/B-tests, gettingtrustworthy results is harder. Although the research field of A/B-testing is active,there is no agreed definition of the necessary conditions for running trustworthy A/Btest.This thesis presents a set of trustworthy conditions and connect these with A/Btestingplatform features. The results show what features to look for in platforms inorder to achieve trustworthy results. The thesis also presents an evaluation of twocommon A/B-testing platforms available today. During the platform evaluation otherfeatures were found that could have the opposite impact on the trustworthiness of theresults and this is also discussed in this thesis.