Reinforcement Learning Applied to Select Traffic Scheduling Method in Intersections

• Main Authors: von Hacht, Johan, Johansson, David
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2019
• Subjects: Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-260080

Effective scheduling of traffic is vital for a city to function optimally. For high-density traffic in urban areas, intersections and how they schedule traffic plays an integral part in preventing congestion. Current traffic light scheduling methods predominantly consist of using fixed time intervals to schedule traffic, a method not taking advantage of the technological leaps of recent years. With the unpredictable characteristic of traffic and urban population ever-expanding, conventional traffic scheduling becomes less effective due to them being nonadaptive. Therefore, the study sought out to investigate if a traffic scheduler utilising reinforcement learning could perform better than traditional traffic scheduling policies used today, more specifically fixedinterval scheduling. A solution involving a reinforcement agent choosing different predefined scheduling methods with varied characteristics was implemented. This implementation was successful in lowering the average waiting time of cars passing the intersection compared to fixed-interval scheduling. This was made possible by the agent regularly applying suitable scheduling method for the present traffic conditions. Reinforcement learning could, therefore, be a viable approach to scheduling traffic in intersections. However, the reinforcement agent had a limited overview of the current traffic environment at its disposal which could have consequences for the result. === Effektivt styrande av trafik utgör en väsentlig del av väl fungerande städer. I tätbefolkade områden med hög trafikdensitet spelar schedulering av korsningar en viktig roll i form av att förhindra långa köer. I dagsläget används till stor del trafikljus som styrs av förbestämda tidsintervall, en metod som inte utnyttjar de teknologiska framsteg som gjorts under de senaste åren. Trafikens oförutsägbarhet samt den ständigt ökande populationsmängden ställer krav på allt mer effektivare trafikljus, trafikljus som kan anpassa sig utefter den rådande trafiksituationen. Därmed undersöker denna rapport huruvida trafikljus som använder sig av förstärkande inlärning kan prestera bättre än konventionella metoder, mer specifikt schedulering med förbestämda tidsintervall. En lösning implementerades som utnyttjar förstärkande inlärning i mån om att välja mellan fem olika trafikstyrningsmetoder med utmärkande egenskaper. Metoden lyckades förbättra den genomsnittliga väntetiden för bilarna som passerade korsningen jämfört med väntetiden som förbestämda tidsintervall åstadkom. Detta genom att regelbundet välja den metod som presterade bra för den givna trafiksituationen. Förstärkande inlärningen kan därmed ses som en lämplig metod för att styra trafiken i korsningar. Lösningen hade dock en begränsad överblick av omgivningen vilket skulle kunna påverka resultatet.