Changes in motivational and higher level cognitive processes when interacting with in-vehicle automation
Many functions that at one time could only be performed by humans can nowadays be carried out by machines. Automation impacts many areas of life including work, home, communication and mobility. In the driving context, in-vehicle automation is considered to provide solutions for environmental, econo...
| Main Author: | |
|---|---|
| Other Authors: | |
| Format: | Doctoral Thesis |
| Language: | English |
| Published: |
Universitätsbibliothek Chemnitz
2015
|
| Subjects: | |
| Online Access: | http://nbn-resolving.de/urn:nbn:de:bsz:ch1-qucosa-167333 http://nbn-resolving.de/urn:nbn:de:bsz:ch1-qucosa-167333 http://www.qucosa.de/fileadmin/data/qucosa/documents/16733/Dissertation_Matthias_Beggiato.pdf http://www.qucosa.de/fileadmin/data/qucosa/documents/16733/signatur.txt.asc |
| Summary: | Many functions that at one time could only be performed by humans can nowadays be carried out by machines. Automation impacts many areas of life including work, home, communication and mobility. In the driving context, in-vehicle automation is considered to provide solutions for environmental, economic, safety and societal challenges. However, automation changes the driving task and the human-machine interaction. Thus, the expected benefit of in-vehicle automation can be undermined by changes in drivers’ behaviour, i.e. behavioural adaptation. This PhD project focuses on motivational as well as higher cognitive processes underlying behavioural adaptation when interacting with in-vehicle automation. Motivational processes include the development of trust and acceptance, whereas higher cognitive processes comprise the learning process as well as the development of mental models and Situation Awareness (SA). As an example for in-vehicle automation, the advanced driver assistance system Adaptive Cruise Control (ACC) was investigated. ACC automates speed and distance control by maintaining a constant set cruising speed and automatically adjusting vehicle’s velocity in order to provide a specified distance to the preceding vehicle. However, due to sensor limitations, not every situation can be handled by the system and therefore driver intervention is required. Trust, acceptance and an appropriate mental model of the system functionality are considered key variables for adequate use and appropriate SA.
To systematically investigate changes in motivational and higher cognitive processes, a driving simulator as well as an on-road study were carried out. Both of the studies were conducted using a repeated-measures design, taking into account the process character, i.e. changes over time. The main focus was on the development of trust, acceptance and the mental model of novice users when interacting with ACC. By now, only few studies have attempted to assess changes in higher level cognitive processes, due to methodological difficulties posed by the dynamic task of driving. Therefore, this PhD project aimed at the elaboration and validation of innovative methods for assessing higher cognitive processes, with an emphasis on SA and mental models. In addition, a new approach for analyzing big and heterogeneous data in social science was developed, based on the use of relational databases.
The driving simulator study investigated the effect of divergent initial mental models of ACC (i.e., varying according to correctness) on trust, acceptance and mental model evolvement. A longitudinal study design was applied, using a two-way (3×3) repeated measures mixed design with a matched sample of 51 subjects. Three experimental groups received (1) a correct ACC description, (2) an incomplete and idealised account omitting potential problems, and (3) an incorrect description including non-occurring problems. All subjects drove a 56-km track of highway with an identical ACC system, three times, and within a period of 6 weeks. Results showed that after using the system, participants’ mental model of ACC converged towards the profile of the correct group. Non-experienced problems tended to disappear from the mental model network when they were not activated by experience. Trust and acceptance grew steadily for the correct condition. The same trend was observed for the group with non-occurring problems, starting from a lower initial level. Omitted problems in the incomplete group led to a constant decrease in trust and acceptance without recovery. This indicates that automation failures do not negatively affect trust and acceptance if they are known beforehand. During each drive, participants continuously completed a visual secondary task, the Surrogate Reference Task (SURT). The frequency of task completion was used as objective online-measure for SA, based on the principle that situationally aware driver would reduce the engagement in the secondary task if they expect potentially critical situations. Results showed that correctly informed drivers were aware of potential system limitations and reduced their engagement in the secondary task when such situations arose. Participants with no information about limitations became only aware after first encounter and reduced secondary task engagement in corresponding situations during subsequent trials. However, trust and acceptance in the system declined over time due to the unexpected failures. Non occurring limitations tended to drop from the mental model and resulted in reduced SA already in the second trial.
The on-road study investigated the learning process, as well as the development of trust, acceptance and the mental model for interacting with ACC in real conditions. Research questions aimed to model the learning process in mathematical/statistical terms, examine moments and conditions when these processes stabilize, and assess how experience changes the mental model of the system. A sample of fifteen drivers without ACC experience drove a test vehicle with ACC ten consecutive times on the same route within a 2-month period. In contrast to the driving simulator study, all participants were fully trained in ACC functionality by reading the owner’s manual in the beginning. Results showed that learning, as well as the development of acceptance and trust in ACC follows the power law of learning, in case of comprehensive prior information on system limitations. Thus, the major part of the learning process occurred during the first interaction with the system and support in explaining the systems abilities (e.g. by tutoring systems) should therefore primarily be given during this first stage. All processes stabilized at a relatively high level after the fifth session, which corresponds to 185 km or 3.5 hours of driving. No decline was observable with ongoing system experience. However, in line with the findings from the simulator study, limitations that are not experienced tended to disappear from the mental model if they were not activated by experience.
With regard to the validation of the developed methods for assessing mental models and SA, results are encouraging. The studies show that the mental model questionnaire is able to provide insights into the construction of mental models and the development over time. Likewise, the implicit measurement approach to assess SA online in the driving simulator is sensitive to user’s awareness of potentially critical situations. In terms of content, the results of the studies prove the enduring relevance of the initial mental model for the learning process, SA, as well as the development of trust, acceptance and a realistic mental model about automation capabilities and limitations. Given the importance of the initial mental model it is recommended that studies on system trust and acceptance should include, and attempt to control, users’ initial mental model of system functionality. Although the results showed that also incorrect and incomplete initial mental models converged by experience towards a realistic appreciation of system functionality, the more cognitive effort needed to update the mental model, the lower trust and acceptance. Providing an idealised description, which omits potential problems, only leads to temporarily higher trust and acceptance in the beginning. The experience of unexpected limitations results in a steady decrease in trust and acceptance over time.
A trial-and-error strategy for in-vehicle automation use, without accompanying information, is therefore considered insufficient for developing stable trust and acceptance. If the mental model matches experience, trust and acceptance grow steadily following the power law of learning – regardless of the experience of system limitations. Provided that such events are known in advance, they will not cause a decrease in trust and acceptance over time. Even over-information about potential problems lowers trust and acceptance only in the beginning, and not in the long run. Potential problems should therefore not be concealed in over-idealised system descriptions; the more information given, the better, in the long run. However, limitations that are not experienced tend to disappear from the mental model. Therefore, it is recommended that users be periodically reminded of system limitations to make sure that corresponding knowledge becomes re-activated. Intelligent tutoring systems incorporated in automated systems could provide a solution. In the driving context, periodic reminders about system limitations could be shown via the multifunction displays integrated in most modern cars. Tutoring systems could also be used to remind the driver of the presence of specific in-vehicle automation systems and reveal their benefits. === Viele Aufgaben, die ehemals von Menschen ausgeführt wurden, werden heute von Maschinen übernommen. Dieser Prozess der Automatisierung betrifft viele Lebensbereiche von Arbeit, Wohnen, Kommunikation bis hin zur Mobilität. Im Bereich des Individualverkehrs wird die Automatisierung von Fahrzeugen als Möglichkeit gesehen, zukünftigen Herausforderungen wirtschaftlicher, gesellschaftlicher und umweltpolitischer Art zu begegnen. Allerdings verändert Automatisierung die Fahraufgabe und die Mensch-Technik Interaktion im Fahrzeug. Daher können beispielsweise erwartete Sicherheitsgewinne automatisch agierender Assistenzsysteme durch Veränderungen im Verhalten des Fahrers geschmälert werden, was als Verhaltensanpassung (behavioural adaptation) bezeichnet wird. Dieses Dissertationsprojekt untersucht motivationale und höhere kognitive Prozesse, die Verhaltensanpassungen im Umgang mit automatisierten Fahrerassistenzsystemen zugrunde liegen. Motivationale Prozesse beinhalten die Entwicklung von Akzeptanz und Vertrauen in das System, unter höheren kognitiven Prozessen werden Lernprozesse sowie die Entwicklung von mentalen Modellen des Systems und Situationsbewusstsein (Situation Awareness) verstanden. Im Fokus der Untersuchungen steht das Fahrerassistenzsystem Adaptive Cruise Control (ACC) als ein Beispiel für Automatisierung im Fahrzeug. ACC regelt automatisch die Geschwindigkeit des Fahrzeugs, indem bei freier Fahrbahn eine eingestellte Wunschgeschwindigkeit und bei einem Vorausfahrer automatisch ein eingestellter Abstand eingehalten wird. Allerdings kann ACC aufgrund von Einschränkungen der Sensorik nicht jede Situation bewältigen, weshalb der Fahrer übernehmen muss. Für diesen Interaktionsprozess spielen Vertrauen, Akzeptanz und das mentale Modell der Systemfunktionalität eine Schlüsselrolle, um einen sicheren Umgang mit dem System und ein adäquates Situationsbewusstsein zu entwickeln.
Zur systematischen Erforschung dieser motivationalen und kognitiven Prozesse wurden eine Fahrsimulatorstudie und ein Versuch im Realverkehr durchgeführt. Beide Studien wurden im Messwiederholungsdesign angelegt, um dem Prozesscharakter gerecht werden und Veränderungen über die Zeit erfassen zu können. Die Entwicklung von Vertrauen, Akzeptanz und mentalem Modell in der Interaktion mit ACC war zentraler Forschungsgegenstand beider Studien. Bislang gibt es wenige Studien, die kognitive Prozesse im Kontext der Fahrzeugführung untersucht haben, unter anderem auch wegen methodischer Schwierigkeiten in diesem dynamischen Umfeld. Daher war es ebenfalls Teil dieses Dissertationsprojekts, neue Methoden zur Erfassung höherer kognitiver Prozesse in dieser Domäne zu entwickeln, mit Fokus auf mentalen Modellen und Situationsbewusstsein. Darüber hinaus wurde auch ein neuer Ansatz für die Analyse großer und heterogener Datenmengen im sozialwissenschaftlichen Bereich entwickelt, basierend auf dem Einsatz relationaler Datenbanken.
Ziel der der Fahrsimulatorstudie war die systematische Erforschung des Effekts von unterschiedlich korrekten initialen mentalen Modellen von ACC auf die weitere Entwicklung des mentalen Modells, Vertrauen und Akzeptanz des Systems. Eine Stichprobe von insgesamt 51 Probanden nahm an der Studie teil; der Versuch wurde als zweifaktorielles (3x3) gemischtes Messwiederholungsdesign konzipiert. Die 3 parallelisierten Versuchsgruppen zu je 17 Personen erhielten (1) eine korrekte Beschreibung des ACC, (2) eine idealisierte Beschreibung unter Auslassung auftretender Systemprobleme und (3) eine überkritische Beschreibung mit zusätzlichen Hinweisen auf Systemprobleme, die nie auftraten. Alle Teilnehmer befuhren insgesamt dreimal im Zeitraum von sechs Wochen dieselbe 56 km lange Autobahnstrecke im Fahrsimulator mit identischem ACC-System. Mit zunehmendem Einsatz des ACC zeigte sich im anfänglich divergierenden mentalen Modell zwischen den Gruppen eine Entwicklung hin zum mentalen Modell der korrekt informierten Gruppe. Nicht erfahrene Systemprobleme tendierten dazu, im mentalen Modell zu verblassen, wenn sie nicht durch Erfahrung reaktiviert wurden. Vertrauen und Akzeptanz stiegen stetig in der korrekt informierten Gruppe. Dieselbe Entwicklung zeigte sich auch in der überkritisch informierten Gruppe, wobei Vertrauen und Akzeptanz anfänglich niedriger waren als in der Bedingung mit korrekter Information. Verschwiegene Systemprobleme führten zu einer konstanten Abnahme von Akzeptanz und Vertrauen ohne Erholung in der Gruppe mit idealisierter Beschreibung. Diese Resultate lassen darauf schließen, dass Probleme automatisierter Systeme sich nicht zwingend negativ auf Vertrauen und Akzeptanz auswirken, sofern sie vorab bekannt sind. Bei jeder Fahrt führten die Versuchsteilnehmer zudem kontinuierlich eine visuell beanspruchende Zweitaufgabe aus, die Surrogate Reference Task (SURT). Die Frequenz der Zweitaufgabenbearbeitung diente als objektives Echtzeitmaß für das Situationsbewusstsein, basierend auf dem Ansatz, dass situationsbewusste Fahrer die Zuwendung zur Zweitaufgabe reduzieren wenn sie potentiell kritische Situationen erwarten. Die Ergebnisse zeigten, dass die korrekt informierten Fahrer sich potentiell kritischer Situationen mit möglichen Systemproblemen bewusst waren und schon im Vorfeld der Entstehung die Zweitaufgabenbearbeitung reduzierten. Teilnehmer ohne Informationen zu auftretenden Systemproblemen wurden sich solcher Situationen erst nach dem ersten Auftreten bewusst und reduzierten in entsprechenden Szenarien der Folgefahrten die Zweitaufgabenbearbeitung. Allerdings sanken Vertrauen und Akzeptanz des Systems aufgrund der unerwarteten Probleme. Erwartete, aber nicht auftretende Systemprobleme tendierten dazu, im mentalen Modell des Systems zu verblassen und resultierten in vermindertem Situationsbewusstsein bereits in der zweiten Fahrt.
Im Versuch unter Realbedingungen wurden der Lernprozesses sowie die Entwicklung des mentalen Modells, Vertrauen und Akzeptanz von ACC im Realverkehr erforscht. Ziele waren die statistisch/mathematische Modellierung des Lernprozesses, die Bestimmung von Zeitpunkten der Stabilisierung dieser Prozesse und wie sich reale Systemerfahrung auf das mentale Modell von ACC auswirkt. 15 Versuchsteilnehmer ohne ACC-Erfahrung fuhren ein Serienfahrzeug mit ACC insgesamt 10-mal auf der gleichen Strecke in einem Zeitraum von 2 Monaten. Im Unterschied zur Fahrsimulatorstudie waren alle Teilnehmer korrekt über die ACC-Funktionen und Funktionsgrenzen informiert durch Lesen der entsprechenden Abschnitte im Fahrzeughandbuch am Beginn der Studie. Die Ergebnisse zeigten, dass der Lernprozess sowie die Entwicklung von Akzeptanz und Vertrauen einer klassischen Lernkurve folgen – unter der Bedingung umfassender vorheriger Information zu Systemgrenzen. Der größte Lernfortschritt ist am Beginn der Interaktion mit dem System sichtbar und daher sollten Hilfen (z.B. durch intelligente Tutorsysteme) in erster Linie zu diesem Zeitpunkt gegeben werden. Eine Stabilisierung aller Prozesse zeigte sich nach der fünften Fahrt, was einer Fahrstrecke von rund 185 km oder 3,5 Stunden Fahrzeit entspricht. Es zeigten sich keine Einbrüche in Akzeptanz, Vertrauen bzw. dem Lernprozess durch die gemachten Erfahrungen im Straßenverkehr. Allerdings zeigte sich – analog zur Fahrsimulatorstudie – auch in der Realfahrstudie ein Verblassen von nicht erfahrenen Systemgrenzen im mentalen Modell, wenn diese nicht durch Erfahrungen aktiviert wurden.
Im Hinblick auf die Validierung der neu entwickelten Methoden zur Erfassung von mentalen Modellen und Situationsbewusstsein sind die Resultate vielversprechend. Die Studien zeigen, dass mit dem entwickelten Fragebogenansatz zur Quantifizierung des mentalen Modells Einblicke in Aufbau und Entwicklung mentaler Modelle gegeben werden können. Der implizite Echtzeit-Messansatz für Situationsbewusstsein im Fahrsimulator zeigt sich ebenfalls sensitiv in der Erfassung des Bewusstseins von Fahrern für potentiell kritische Situationen. Inhaltlich zeigen die Studien die nachhaltige Relevanz des initialen mentalen Modells für den Lernprozess sowie die Entwicklung von Situationsbewusstsein, Akzeptanz, Vertrauen und die weitere Ausformung eines realistischen mentalen Modells der Möglichkeiten und Grenzen automatisierter Systeme. Aufgrund dieser Relevanz wird die Einbindung und Kontrolle des initialen mentalen Modells in Studien zu automatisierten Systemen unbedingt empfohlen. Die Ergebnisse zeigen zwar, dass sich auch unvollständige bzw. falsche mentale Modelle durch Erfahrungslernen hin zu einer realistischen Einschätzung der Systemmöglichkeiten und -grenzen verändern, allerdings um den Preis sinkenden Vertrauens und abnehmender Akzeptanz. Idealisierte Systembeschreibungen ohne Hinweise auf mögliche Systemprobleme bringen nur anfänglich etwas höheres Vertrauen und Akzeptanz. Das Erleben unerwarteter Probleme führt zu einem stetigen Abfall dieser motivationalen Faktoren über die Zeit.
Ein alleiniges Versuchs-Irrtums-Lernen für den Umgang mit automatisierter Assistenz im Fahrzeug ohne zusätzliche Information wird daher als nicht ausreichend für die Entwicklung stabilen Vertrauens und stabiler Akzeptanz betrachtet. Wenn das initiale mentale Modell den Erfahrungen entspricht, entwickeln sich Akzeptanz und Vertrauen gemäß einer klassischen Lernkurve – trotz erlebter Systemgrenzen. Sind diese potentiellen Probleme vorher bekannt, führen sie nicht zwingend zu einer Reduktion von Vertrauen und Akzeptanz. Auch zusätzliche überkritische Information vermindert Vertrauen und Akzeptanz nur am Beginn, aber nicht langfristig. Daher sollen potentielle Probleme in automatisierten Systemen nicht in idealisierten Beschreibungen verschwiegen werden – je präzisere Information gegeben wird, desto besser im langfristigen Verlauf. Allerdings tendieren nicht erfahrene Systemgrenzen zum Verblassen im mentalen Modell. Daher wird empfohlen, Nutzer regelmäßig an diese Systemgrenzen zu erinnern um die entsprechenden Facetten des mentalen Modells zu reaktivieren. In automatisierten Systemen integrierte intelligente Tutorsysteme könnten dafür eine Lösung bieten. Im Fahrzeugbereich könnten solche periodischen Erinnerungen an Systemgrenzen in Multifunktionsdisplays angezeigt werden, die mittlerweile in vielen modernen Fahrzeugen integriert sind. Diese Tutorsysteme können darüber hinaus auch auf die Präsenz eingebauter automatisierter Systeme hinweisen und deren Vorteile aufzeigen. |
|---|