Re-target Human Gesticulation to a Humanoid Robot NAO

Gesticulation is important in human communication. Humanoid robots should mimic the human gesticulation to have a good conversation with a human. However, in traditional systems that produce robot motions, human pre-define the motion frame by frame for the robot which requires a lot of labor. In thi...

Full description

Bibliographic Details
Main Author: Jiang, Sifan
Format: Others
Language:English
Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2020
Subjects:
Online Access:http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-289466
Description
Summary:Gesticulation is important in human communication. Humanoid robots should mimic the human gesticulation to have a good conversation with a human. However, in traditional systems that produce robot motions, human pre-define the motion frame by frame for the robot which requires a lot of labor. In this thesis work, we developed an automatic system taking human motion capture data as input and output the joint angle sequence for the humanoid robot NAO that mimics the human motion. This method could be used to map gestures generated by a model to a NAO robot as well. We trained a Multilayer Perceptron (MLP) model to map human poses to NAO’s poses frame by frame. Afterwards, we used constrained optimization and smoothing to make the motion fit the physical limitations of NAO and be smooth. To our best knowledge, our work brings the following novelties: we proposed a method that maps human motion to NAO within the physical limitations of NAO; we created a small dataset containing corresponding human poses and NAO poses which could be used for similar projects in the future.  === Gesticulation är viktigt i mänsklig kommunikation. Humanoidrobotar bör efterlikna mänsklig gestikulation för att ha en bra konversation med en människa. Men i traditionella system som producerar robotrörelser fördefinierar människor rörelsen ram för ram för roboten som kräver mycket arbete. I detta uppsatsarbete utvecklade vi ett automatiskt system som tar mänsklig rörelseinspelningsdata som inmatning och utmatning av den gemensamma vinkelsekvensen för den humanoida roboten NAO som efterliknar den mänskliga rörelsen. Denna metod kan också användas för att kartlägga gester som genereras av en modell till en NAO-robot. Vi utbildade en MLP-modell för att kartlägga mänskliga poser till NAO: s poser ram för ram. Efteråt använde vi begränsad optimering och utjämning för att få rörelsen att passa NAO: s fysiska begränsningar och vara smidig. Så vitt vi känner till ger vårt arbete följande nyheter: vi föreslog en metod som kartlägger mänsklig rörelse till NAO inom NAO: s fysiska begränsningar; vi skapade en liten dataset som innehåller motsvarande mänskliga poser och NAO-poser som skulle kunna användas för andra liknande undersökningar i framtiden.