Technik und Methoden
Die multi-sensorische Technik des BamLiDs und ihre Methodik im Überblick
Eine zentrale Aufgabe im Living Lab ist es, aus vielfältigen Daten interpretierbare Informationen zu gewinnen. Welche Art von Verhalten führt eine Person aktuell aus, welche Verhaltensabsicht wird dabei umgesetzt und in welchem emotionalen Zustand befindet sich die Person? Hierfür sollen hybride Ansätze der Künstlichen Intelligenz eingesetzt werden, bei denen maschinelles Lernen und wissensbasierte Inferenz kombiniert werden.
Es ist zentral, dass die multimodale Ableitung möglich ist, während sich die Person im BamLiD frei bewegt, sodass Alltagsaktivitäten und -handlungen unbeeinträchtigt ausgeführt werden können. Diese multimodale Ableitung erfolgt über die Erfassung von:
1. Mimik
- Das BamLiD ist mit 12 (mobilen) Kameras ausgestattet, sodass laterale und frontale Aufnahmen des Gesichtes zu jeder Zeit gewährleistet sind.
- Die Videoaufnahmen der Kameras werden synchronisiert erfasst (VideoSyncPro von Mangold International).
- Die Mimikreaktionen werden offline mithilfe des Facial Action Coding System manuell analysiert.
- Die Mimikreakionen werden zudem mit automatischen Mimikerkennungssystemen (Face Reader, Pain Face Reader, Open Face) analysiert.
- Parameter: z.B. Art der gezeigten Action Unit (AU), AU Frequenz, AU Intensität, AU On- und Offset, AU Dauer
2. Stimme
- Im BamLiD wird mit Hilfe von 5 Stabmikrofonen eine optimale Aufnahmequalität von jeder Position im Raum gewährleistet.
- Die Audioaufnahmen werden mit den Videoaufnahmen synchronisiert erfasst (VideoSyncPro von Mangold International).
- Die phonetischen Analysen der Audiospuren werden offline mit dem Programm ProsodyPro durchgeführt.
- Parameter: z.B. mittlere Grundfrequenz der Phonation, Frequenzvariation der Phonation, durchschnittliche Intensität und Rauigkeit
3. Ganganalysen
- Das BamLiD ist mit einem intelligenten Sensorboden (Smart Floor - Fraunhofer IGD, Darmstadt) ausgestattet. Mithilfe von im bodenverlegten Sensoren kann - basierend auf passiver elektrischer Feldmessung - die Lokalisation einer Person mit hoher Genauigkeit bestimmt werden.
- Die Ganganalysen finden offline statt.
- Parameter: z.B. Geschwindigkeit, Anzahl der Schritte, Schrittlänge, Varianz der Geschwindigkeit/Schrittlänge, Asymmetrie zwischen rechts und links
4. Mobiler Biosignalrekorder
- Im BamLiD stehen eine Vielzahl mobiler Sensoren zur Erfassung von Blutdruck, Herzrate, Hautleitfähigkeit und Aktigraphie (motorische Aktiviertheit) zur Verfügung (BioNomadix Wireless Wearable Physiology von BIOPAC, Biosignalrecorder NeXus-10 MKII von Hasomed/MindMedia).
- Die Analysen finden auch hier offline statt.
- Parameter: z.B. Herzrate, Herzratenvariabilität, sympathische Erregung, Agitiertheit/Unruhe
5. Überwachungs-, Trigger- und Speichertechnik im Kontrollraum
- Alle Datenströme laufen im Kontrollraum zusammen.
- Eine synchrone Auswertung der Multi-Sensor-Daten wird durch Trigger-Schaltungen gewährleistet.
- Im Kontrollraum werden die Multi-Sensor-Daten erfasst und Kameraeinstellungen vorgenommen.
6. Lichtanlage
- Das BamLiD ist mit 42 Leuchten ausgestattet, die einzeln ansteuerbar sind.
- Somit kann gezielt Lichthelligkeit und Farbtemperatur (bis zu 3.000 Lux) gesteuert werden.
7. Umweltbedingungen kontrollieren
- Temperatur: Das BamLiD ist klimatisiert, sodass die gewünschten Temperaturen kontrolliert eingestellt werden können.
- Lärm/Geräuschpegel: Das BamLiD ist mit Lautsprechern ausgestattet, sodass jegliche Geräuschkulisse dargeboten werden kann.