Нейросетевая модель многомодального распознавания человеческой агрессии

• Main Author: Уздяев, М.Ю.
• Format: Article
• Language: English
• Published: KamGU by Vitus Bering 2020-12-01
• Series: Vestnik KRAUNC: Fiziko-Matematičeskie Nauki
• Subjects: распознавание агрессии; анализ поведения; нейронные сети; многомодальная обработка данных; aggression recognition; behavior analysis; neural networks; multimodal data processing
• Online Access: http://krasec.ru/uzdyev2020-334/
• ISSN: 2079-6641; 2079-665X

Увеличение количества пользователей социокиберфизических систем, умных пространств, систем интернета вещей актуализирует проблему выявления деструктивных действий пользователей, таких как агрессия. При этом, деструктивные действия пользователей могут быть представлены в различных модальностях: двигательная активность тела, сопутствующее выражение лица, невербальное речевое поведение, вербальное речевое поведение. В статье рассматривается нейросетевая модель многомодального распознавания человеческой агрессии, основанная на построении промежуточного признакового пространства, инвариантного виду обрабатываемой модальности. Предлагаемая модель позволяет распознавать с высокой точностью агрессию в условиях отсутствия или недостатка информации какой-либо модальности. Экспериментальное исследование показало 81:8% верных распознаваний на наборе данных IEMOCAP. Также приводятся результаты экспериментов распознавания агрессии на наборе данных IEMOCAP для 15 различных сочетаний обозначенных выше модальностей.