Validating User Engagement and Effectiveness of Training Simulations : A mixed-methods approach informed by embodied cognition and psychophysiological measures
Simulation-based training has gained widespread attention recently as a response to drawbacks associated with traditional training approaches, such as high training costs (instructors, equipment, etc.), high risks (e.g. pilot training), and ethical issues (e.g. medical training), as well as a lack o...
| Main Author: | |
|---|---|
| Format: | Doctoral Thesis |
| Language: | English |
| Published: |
Stockholms universitet, Institutionen för data- och systemvetenskap
2015
|
| Subjects: | |
| Online Access: | http://urn.kb.se/resolve?urn=urn:nbn:se:su:diva-122546 http://nbn-resolving.de/urn:isbn:978-91-7649-305-2 |
| Summary: | Simulation-based training has gained widespread attention recently as a response to drawbacks associated with traditional training approaches, such as high training costs (instructors, equipment, etc.), high risks (e.g. pilot training), and ethical issues (e.g. medical training), as well as a lack of availability of certain training environments (e.g. space exploration). Apart from their target training domains, many of aspects of simulations differ, such as their degree of physical realism (fidelity), scenarios (e.g. story), and pedagogical aspects (e.g. after-action reviews and collaborative learning). Among those aspects, designers have mostly focused on developing high-fidelity simulations with the expectation of increasing the effectiveness of training. However, some authors suggest that the above belief is a myth as researchers have failed to identify a linear relationship between the (physical) fidelity and training effectiveness of simulations. Most researchers have therefore evaluated the correspondence between the behaviours of trainees in both real world and simulated contexts, however, the existing methods of simulation validation using behavioural measures have a number of drawbacks, such as the fact that they do not address certain complex phenomena of skills acquisition. Bridging the above knowledge gap, this research reports on empirical investigations using an improved methodology for validating training simulations. This research includes an investigation of the user experience of trainees, with respect to the acceptance of virtual scenarios provoking a similar psychophysiological response as in real world scenarios, and the training potential of simulations with respect to the positive transfer of training from a simulator to real world operational contexts. The most prominent features of the proposed methodology include the use of psychophysiological measures in addition to traditional behavioural measures and the use of natural (quasi-) experiments. Moreover, its conceptual framework was influenced by contemporary theories in cognitive science (e.g. constructivism and embodied cognition). The results of this research have several important theoretical and methodological implications, involving, for example, the dependency of the effectiveness of simulations on the perceived realism of trainees, which is more embodied than has been predicted by previous researchers, and the requirement of several different types/levels of adaptive training experience, depending on the type of trainee. === Träning i simulatorer har på senare år fått ökad uppmärksamhet som en respons på problem och svårigheter förknippade med traditionella träningsansatser, såsom höga kostnader (instruktörer och utrustning, etc.), hög risk (t.ex. träning av piloter), och etiska aspekter (t.ex. träning av kirurger), likaväl som avsaknaden av träningsmöjligheter och miljöer (t.ex. forskning om rymden). Bortsett från vad som specifikt tränas så skiljer sig simuleringar åt i ett flertal olika aspekter såsom fysisk realism (eng. fidelity), scenarier (handling) och pedagogiska aspekter (t.ex. genomgång efter övning och kollaborativt lärande). Bland dessa aspekter så har designers ofta fokuserat att utveckla simuleringar med hög realism med förväntningen att detta ska göra träningen mer effektiv. Litteraturen antyder dock att denna föreställning inte stämmer och att de flesta simuleringar med hög realism inte har lyckats uppnå denna målsättning. En slutsats är därför att det finns ett behov av metoder som kan validera potentialen hos simuleringar avsedda att stödja träning – redan innan dessa används. Enligt litteraturen så är utbildningspotentialen hos en simulering starkt kopplad till hur väl den psykologiska effekten en simulering har, stämmer överens med en verklig upplevelse. Forskning har emellertid identifierat ett flertal svagheter hos existerande ansatser för att validera simuleringar; de är oftast baserade på prestations- och/eller subjektiva mätningar; de har fokuserat en eller ett fåtal psykologiska aspekter; och de bygger på traditionella teorier. Baserat på resultat från studier av en kör-simulator presenteras och föreslås i denna avhandling ett förbättrat ramverk för utvärdering. De mest centrala egenskaperna hos det föreslagna ramverket inbegriper användandet av psyko-fysiologiska mått tillsammans med mer traditionella mått; det konceptuella ramverket bygger på samtida teoretiska ansatser (tex konstruktivism och kroppslig kognition); samt användandet av fält (kvasi-) experiment. Utöver uppnåendet av uppsatta mål för forskningen så har resultaten ett flertal teoretiska och metodologiska implikationer. Bland dessa återfinns beroendet mellan effektiviteten hos en simulering och den upplevelse av realitet som de tränade har, vilken är mer grundläggande än vad som rapporterats i tidigare forskning, samt kravet på flera och olika typer av anpassning av träningsupplevelse för den tränade för att förhöja potentialen hos träningssimulatorer. === SIDA Funded National e-Learning Centre Project at the University of Colombo School of Computing, Sri Lanka |
|---|