Augmented Reality-Based Interaction Mechanism for the Control of Industrial Robots

• Main Author: Zhao, Yongqing
• Format: Others
• Language: English
• Published: KTH, Industriell produktion 2020
• Subjects: Mechanical Engineering; Maskinteknik
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-278153

Currently, AR/VR devices and technologies are continuously applied to control the differenttypes of robots in the aspects of the industry. A lot of developers have accomplished the pickand place experiment on the real robot through interacting with the virtual robot in the AR/VRdevices. However, the User interface in the AR/VR devices is the lack of the whole controllogic mechanism to help users operating the control system easily. With the spread ofdeveloping AR/VR technologies are introduced into the industry. It is obvious that the userinterface needs to have a complete interaction mechanism in order to give new experiencesto users.Based on the review of literature about the intention to help users to interact with a robot usingAR/VR devices, this Master thesis concentrated on the designing of front-end in the HoloLensand its data communication with the virtual robot in PC. The back-end during testing in thisthesis is based on the works that Mingtian Lei has dong in his thesis, called Graphic Interfaceand Robot Control System Design With Compensation Mechanism.This thesis gave the rough prototypes about the user interface with a control logic mechanismin the HoloLens to manipulate the real robot, KUKA KR6 R700 Sixx. The test results in thisthesis is based on the experiment of Pick and Place freely. The result shows that the user isable to control the real robot to pick the target object freely and place it in the final positionwithout collision to other objects. The accuracy and the continuity of operation in the pick andplace test are needed to have further improved to help users to save time when usingHoloLens to control industrial robots. === För närvarande används AR/VR-enheter och tekniker kontinuerligt för att kontrollera de olikatyperna av robotar inom branschens aspekter. Många utvecklare har genomfört pick-andplace-experimentet på den verkliga roboten genom att interagera med den virtuella roboten iAR/VR-enheterna. Men användargränssnittet i AR/VR-enheterna är bristen på helakontrolllogikmekanismen för att hjälpa användare att använda styrsystemet enkelt.Med spridningen av utvecklande AR/VR-teknologier introduceras i branschen. Det äruppenbart att användargränssnittet måste ha en komplett interaktionsmekanism för att ge nyaupplevelser för användare. Baserat på översynen av litteratur om avsikten att hjälpaanvändare att interagera med en robot med hjälp av AR/VR-enheter, koncentrerade dennamasteruppsats på utformningen av front-end i HoloLens och dess datakommunikation medden virtuella roboten i PC. Baksidan vid testning i denna avhandling är baserad på de verksom Mingtian Lei har dong i sin avhandling, kallad Grafiskt gränssnitt ochrobotkontrollsystemdesign med kompensationsmekanism.Denna avhandling gav de grova prototyperna om användargränssnittet med enkontrolllogikmekanism i HoloLens för att manipulera den verkliga roboten, KUKA KR6 R700Sixx. Testresultaten i denna avhandling baseras fritt på experimentet med Pick and Place.Resultatet visar att användaren kan styra den verkliga roboten för att välja målobjektet fritt ochplacera det i slutpositionen utan kollision med andra objekt. Noggrannheten och kontinuiteteni driften i pick-and-place-testet behövs för att ytterligare förbättras för att hjälpa användare attspara tid när de använder HoloLens för att kontrollera industrirobotar.