Statistical Analysis of Conductor-Musician Interaction : With a Focus on Musical Expression

• Main Author: Ahnlund, Josefin
• Format: Others
• Language: English
• Published: KTH, Datorseende och robotik, CVAP 2016
• Subjects: music; interaction; statistical analysis; conductor; musical expression; Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-187755

The kind of interaction occurring between a conductor and musicians while performing a musical piece together is an unique instance of human non-verbal communication. This Musical Production Process (MPP) thus provides an interesting area of research, both from a communication perspective and by its own right. The long term goal of this project is to model the MPP with machine learning methods, for which large amounts of data are required. Since the amount of data available to this master thesis stems from a single recording session (collected at KTH May 2014) a direct modeling of the MPP is unfeasible. As such the thesis can instead be considered as a pilot project which examines pre-requisites for modeling of the MPP. The main aim of the thesis is to investigate how musical expression can be captured in the modeling of the MPP. Two experiments, as well as a theoretical investigation of the MPP, are performed to this end. The first experiment consists of a HMM classification of sound represented by expressive tone parameters extracted by the CUEX algorithm, and labeled by four emotions. This experiment complements the previous classification of conducting gesture in GP-LVM representation performed by Kelly Karipidou on the same data set. The result of the classification implicitly proves that expression has been transferred from conductor to musicians. As the first experiment considers expression over the musical piece as a whole, the second experiment investigates the transfer of expression from conductor to musician on a local level. To this end local representations of the sound and conducting gesture are extracted, the separability of the four emotions are calculated for both representations by use of the Bhattacharyya distance and the results are compared in search for correlation. Some indications of correlation between the representations of sound and gesture are found. The conclusion is nevertheless that the utilized representations of conducting gesture do not capture musical expression to a sufficient extent. === Interaktionen mellan en dirigent och musiker under ett musikframförande är en unik instans av mänsklig icke-verbal kommunikation. Denna “musikproduktionsprocess” (MPP) utgör därför ett intressant forskningsområde, både ur ett kommunikationsperspektiv såväl som i sin egen rätt. Det långsiktiga målet med detta projekt är att modellera MPP:n med maskininlärningsmetoder, vilket skulle kräva stora mängder data. Då den tillgängliga datamängden härstammar från ett enstaka inspelningstillfälle (KTH, maj 2014) är en direkt modellering av MPP:n inom detta examensarbete ej möjlig. Arbetet bör istället betraktas som ett pilotprojekt som undersöker förutsättningar för att modellera MPP:n. Huvudfokuset för detta examensarbete är att undersöka hur musikaliskt uttryck kan fångas i modelleringen av MPP:n. Två experiment och en teoretisk utredning av MPP:n utförs i detta syfte. Det första experimentet utgörs av HMM-klassificering av ljud, representerat av expressiva tonparametrar framtagna genom CUEX-algoritmen och uppmärkt med fyra olika känslor. Detta experiment kompletterar den tidigare genomförda klassificeringen av dirigentrörelse i en GP-LVM representation av Kelly Karipidou på samma datamängd. Resultatet av klassificeringen bevisar implicit att musikaliskt uttryck överförts från dirigent till musiker. Då det första experimentet undersöker musikaliskt uttrycköver musikstycket i sin helhet är målet för det andra experimentet att undersöka överföringen av musikaliskt uttryck från dirigent till musiker på en lokal nivå. För detta syfte tas lokala representationer för ljud och dirigentrörelse fram, separabiliteten mellan de fyra känslorna kalkyleras via Bhattacharyya-avståndet och resultaten jämförs på jakt efter korrelation. Vissa indikationer på korrelation mellan representationerna för ljud och dirigentrörelse kan iakttas. Slutsatsen är dock att de tillämpade representationerna för dirigentrörelse inte fångar musikaliskt uttryck i tillräckligt hög grad.