Auditory and visual brain-computer interfaces as communication aids for persons with severe paralysis

• Main Author: Käthner, Ivo R. J.
• Format: Doctoral Thesis
• Language: English
• Published: 2015
• Subjects: Gehirn-Computer Schnittstelle; Elektronencephalographie; Kommunikationshilfe; ddc:500
• Online Access: https://opus.bibliothek.uni-wuerzburg.de/frontdoor/index/index/docId/13547; http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-135477; https://nbn-resolving.org/urn:nbn:de:bvb:20-opus-135477; https://opus.bibliothek.uni-wuerzburg.de/files/13547/Dissertation_Ivo_Kaethner.pdf

Brain-computer interfaces (BCIs) could provide a muscle-independent communication channel to persons with severe paralysis by translating brain activity into device commands. As a means of communication, in particular BCIs based on event-related potentials (ERPs) as control signal have been researched. Most of these BCIs rely on visual stimulation and have been investigated with healthy participants in controlled laboratory environments. In proof-of-principle studies targeted end users gained control over BCI systems; however, these systems are not yet established as an assistive technology for persons who would most benefit from them. The main aim of this thesis is to advance the usability of ERP-BCIs for target users. To this end, five studies with BCIs have been conducted that enabled users to communicate by focusing their attention on external stimuli. Two studies were conducted in order to demonstrate the advantages and to further improve the practical application of visual BCIs. In the first study, mental workload was experimentally manipulated during prolonged BCI operation. The study showed the robustness of the visual ERP-BCI since users maintained a satisfactory level of control despite constant distraction in the form of background noise. Moreover, neurophysiological markers that could potentially serve as indicators of high mental workload or fatigue were revealed. This is a first step towards future applications in which the BCI could adapt to the mental state of the user (e.g. pauses if high mental workload is detected to prevent false selections). In the second study, a head-mounted display (HMD), which assures that stimuli are presented in the field of view of the user, was evaluated. High accuracies and information transfer rates, similar to a conventional display, were achieved by healthy participants during a spelling task. Furthermore, a person in the locked-in state (LIS) gained control over the BCI using the HMD. The HMD might be particularly suited for initial communication attempts with persons in the LIS in situations, where mounting a conventional monitor is difficult or not feasible. Visual ERP-BCIs could prove valuable for persons with residual control over eye muscles and sufficient vision. However, since a substantial number of target users have limited control over eye movements and/or visual impairments, BCIs based on non-visual modalities are required. Therefore, a main aspect of this thesis was to improve an auditory paradigm that should enable motor impaired users to spell by focusing attention on different tones. The two conducted studies revealed that healthy participants were able to achieve high spelling performance with the BCI already in the first session and stress the importance of the choice of the stimulus material. The employed natural tones resulted in an increase in performance compared to a previous study that used artificial tones as stimuli. Furthermore, three out of five users with a varying degree of motor impairments could gain control over the system within the five conducted sessions. Their performance increased significantly from the first to the fifth session - an effect not previously observed for visual ERP-BCIs. Hence, training is particularly important when testing auditory multiclass BCIs with potential users. A prerequisite for user satisfaction is that the BCI technology matches user requirements. In this context, it is important to compare BCIs with already established assistive technology. Thus, the fifth study of this dissertation evaluated gaze dependent methods (EOG, eye tracking) as possible control signals for assistive technology and a binary auditory BCI with a person in the locked-in state. The study participant gained control over all tested systems and rated the ease of use of the BCI as the highest among the tested alternatives, but also rated it as the most tiring due to the high amount of attention that was needed for a simple selection. Further efforts are necessary to simplify operation of the BCI. The involvement of end users in all steps of the design and development process of BCIs will increase the likelihood that they can eventually be used as assistive technology in daily life. The work presented in this thesis is a substantial contribution towards the goal of re-enabling communication to users who cannot rely on motor activity to convey their thoughts. === Gehirn-Computer Schnittstellen (engl. brain-computer interfaces, BCIs) könnten Menschen mit schweren Muskellähmungen muskelunabhängige Kommunikation ermöglichen, indem sie Gehirnaktivität in Steuerungsbefehle übersetzen. Zu Kommunikationszwecken wurden insbesondere BCIs erforscht, die auf ereigniskorrelierten Potenzialen (EKPs) als Steuerungssignal beruhen. Die Mehrzahl dieser BCIs basiert auf visuellen Paradigmen und wurde unter kontrollierten Laborbedingungen mit gesunden Versuchsteilnehmern untersucht. In Machbarkeitsstudien konnten auch Menschen mit schweren Muskellähmungen Kontrolle erlangen. Jedoch sind BCIs noch nicht im Alltag als Hilfsmittel für diejenigen etabliert, die am meisten von ihnen profitieren würden. Die Gebrauchstauglichkeit für diese Zielgruppe zu erhöhen, ist das Hauptziel der vorliegenden Arbeit. Zu diesem Zweck wurden fünf Studien mit BCIs durchgeführt, die Nutzern durch die Aufmerksamkeitsfokussierung auf externe Reize ermöglichen zu kommunizieren. Um die Vorteile der visuellen Paradigmen zu zeigen und die praktische Anwendbarkeit weiter zu verbessern, wurden zwei Studien durchgeführt. In der ersten Studie wurde die mentale Arbeitsbelastung während längerer Benutzung eines BCI experimentell manipuliert. Die Studie demonstrierte die Robustheit des EKP-BCI. Nutzer konnten trotz konstanter Ablenkung durch Hintergrundgeräusche ein zufriedenstellendes Kontrollniveau aufrechterhalten. Darüber hinaus wurden neurophysiologische Marker gefunden, die als Indikatoren hoher mentaler Arbeitsbelastung oder Ermüdung dienen können. Dies ist ein erster Schritt hin zu Anwendungen, bei denen sich das BCI dem mentalen Zustand des Benutzers anpasst (z.B. indem die Anwendung pausiert, wenn hohe Arbeitsbelastung detektiert wird, um Falschauswahlen zu verhindern). In der zweiten Studie wurde ein Head- Mounted Display (HMD) evaluiert, welches sicherstellt, dass alle Stimuli im Gesichtsfeld des Nutzers angezeigt werden. Dabei wurden von gesunden Versuchsteilnehmern hohe Genauigkeiten und Informationstransferraten beim Schreiben von Wörtern erzielt, vergleichbar mit denen eines herkömmlichen Bildschirms. Zusätzlich erlangte ein Nutzer im Locked-in-Zustand Kontrolle über das BCI mittels des HMD. Das HMD könnte sich insbesondere für initiale Kommunikationsversuche für Personen im Locked-in-Zustand eignen, wenn sich das Aufstellen eines konventionellen Bildschirms als schwierig oder unmöglich erweist. Visuelle EKP-BCIs könnten sich insgesamt als wertvoll für Personen herausstellen, die noch ihre Augenbewegungen kontrollieren können und über ausreichend Sehkraft verfügen. Da eine nicht unerhebliche Zahl von potenziellen Endbenutzern jedoch eingeschränkte Kontrolle über Augenbewegungen und/oder Sehbeeinträchtigungen hat, sind BCIs notwendig, die auf nicht-visuellen Modalitäten beruhen. Im Rahmen dieser Arbeit lag ein Fokus deshalb auf der Weiterentwicklung eines akustischen Paradigmas, welches Nutzern mit motorischen Einschränkungen das Buchstabieren durch die Aufmerksamkeitsfokussierung auf verschiedene Töne ermöglichen soll. Die beiden hierzu durchgeführten Studien zeigten, dass gesunde Versuchsteilnehmer bereits in der ersten Sitzung hohe Buchstabiergenauigkeiten erzielen konnten. Zudem unterstreichen diese Studien die Wichtigkeit der Wahl der Stimuli. Die in den beiden Studien verwendeten natürlichen Geräusche, führten zu einer Leistungsverbesserung verglichen mit einer vorausgegangenen Studie, die künstliche Töne verwendete. Darüber hinaus konnten drei von fünf Nutzern mit Muskellähmungen innerhalb von fünf Sitzungen Kontrolle über das System erlangen. Für die drei Nutzer war die Leistung in der fünften Sitzung dabei deutlich höher als in der ersten. Ein solcher Trainingseffekt wurde mit visuellen Paradigmen in vorausgegangenen Studien bisher nicht berichtet. Dieses Ergebnis betont daher die Bedeutsamkeit von Training während der Erprobung von akustischen Multi-Klassen-BCIs mit Endbenutzern. Eine Grundvoraussetzung für Nutzerzufriedenheit ist, dass die BCI Technologie den Bedürfnissen der Nutzer entspricht. In diesem Zusammenhang ist es wichtig, BCIs mit bereits etablierten Hilfsmitteln zu vergleichen. Daher wurden in der fünften Studie dieser Dissertation sowohl blickabhängige Methoden (EOG, Eye-Tracking) als auch ein akustisches BCI zur binären Kommunikation mit einem Nutzer im Locked-in-Zustand evaluiert. Der Studienteilnehmer erlangte über alle getesteten Systeme die Kontrolle und bewertete den Bedienkomfort des BCI am höchsten verglichen mit den anderen getesteten Methoden. Das BCI wurde jedoch aufgrund der hohen Konzentration, die für die Auswahl eines einzelnen Befehls benötigt wurde, als die ermüdendste bewertet. Weitere Entwicklungen sind notwendig, um die Bedienung des BCI noch stärker zu vereinfachen. Die Einbeziehung von Endbenutzern in alle Schritte des Entwicklungsprozesses eines BCI wird die Wahrscheinlichkeit erhöhen, dass es schließlich als Hilfsmittel im Alltag genutzt werden kann. Die vorliegende Dissertation leistet wesentliche Beiträge, um dieses Ziel zu erreichen: Nämlich Nutzern, welche sich nicht mittels motorischer Aktivität ausdrücken können, eine neue Form der Kommunikation zu ermöglichen.