| Summary: | Venture capital investors are constantly exposed to high levels of risk in investment scenarios. To lower that risks, various decision support tools can be exploited, such as machine learning models aimed at predicting startup success. In the related work, we observe a lack of deep learning models and solutions that cater to the time-dependent features that are naturally present in the data. This thesis compares two state-of-the-art deep learning models, and inherently their different temporal representations, in their ability to capture long-term dependencies in both time-dependent and static data. We consider the sequential Long Short-Term Memory (LSTM) and the attention- based Transformer in the comparison, motivated by their popularity and contrasting approaches to temporal representation. The method solves a binary classification problem: given time-dependent and static features describing a company, predict whether this company will have intense employee growth in the coming period. The thesis raises questions regarding the suitability of the Transformer under certain data conditions, and establishes that the LSTM is successful in representing long-term dependencies in the data, both with and without the influence of static features. === Riskkapitalinvesterare är konstant utsatta för hög risk i investeringsscenarion. För att minska risken kan olika beslutsstödsverktyg utnyttjas, såsom maskininlärningsmodeller avsedda för att prediktera framgången hos nystartade bolag. I relaterade studier observerar vi en brist på djupinlärningsmodeller och lösningar som möjliggör användning av tidsberoende variabler som är naturligt närvarande i datan. Uppsatsen jämför två av de främsta djupinlärningsmodellerna och deras inneboende tidsrepresentationer i deras förmåga att fånga långsiktiga beroenden i både statisk och tidsberoende data. I jämförelsen ingår den sekventiella LSTM- modellen samt den ’attention’-baserade Transformern, vilket motiveras av deras popularitet och mycket skilda sätt att representera tid. Metoden löser ett binärt klassificeringsproblem: givet tidsberoende och statisk data som beskriver ett företag, förutse om företaget kommer att växa intensivt i antalet anställda den kommande perioden. Uppsatsen väcker frågor kring Transformerns lämplighet under specifika förhållanden, och fastställer att LSTM-modellen framgångsrikt kan fånga långsiktiga beroenden, både med och utan påverkan av statisk data.
|
|---|
