AI in XR Interaction

(WAS) Die Studierenden realisieren mithilfe von KI-Modellen für verschiedene Modalitäten multimodale Interaktionen in XR-Anwendungen.

(WOMIT) unter Anwendung von Sprach-, Audio-, und Bildmodellen in Python und der Unity-Entwicklungsumgebung in praktischen Übungen und einem Projekt.

(WOZU) Um später KI-Modelle flexibel für die menschzentrierte Entwicklung multimodaler und proaktiver Formen der Interaktion in XR verwenden zu können.

In der Veranstaltung geht es um den Einsatz von KI-Modellen, um KI-getriebene Interaktion in Extended Reality (XR) zu realisieren. Ein Mix an Lehrformen wird verwendet. Über seminaristische Lehre in Kombination mit praktischen Übungen wird in der ersten Hälfte des Semesters eine Einführung in die Grundlagen, die unterschiedlichen Interaktionsmethoden und -modalitäten, die über KI-Modelle für Text-, Bild-, Audio-, Videoverarbeitung ermöglicht werden, vermittelt. Dieses praktische Wissen und Können wird als Grundlage genutzt, um in der zweiten Hälfte des Semesters einen von 2 Projekttypen von Projekten (im Team) zu realisieren. Studierende können dabei eine der folgenden zwei Projekttypen adressieren:

1. Affective Interaction Projekt: Hier geht es darum, KI-Modelle zu verwenden, die Emotionen erkennen und/oder generieren können, um ein „Affective Interactionsdesign“ zu realisieren – also ein Design, das z.B. automatisch Emotionen in der Eingabe erkennen kann und emotional (re)agieren kann, um Wohlbefinden zu fördern.

2. Inclusive Human-AI Interaction Project: Hier geht es darum, KI-Modelle zu verwenden, um eine Person dabei zu unterstützen, perzeptive, motorische, kognitive, soziale oder kulturelle Barrieren zu überwinden – also ein Design, das z.B. bei Sprachbarrieren hilft oder visuelle Informationen für Blinde zugänglich macht.

Vorlesung/Seminar, Übungen/Praktika, Projektarbeit

Um die praktischen Übungen durchzuführen, wird viel Software auf den eigenen Laptop eigenständig installiert werden müssen, u.a. Unity, Ollama, aber auch unterschiedliche Python-Module, die viel Speicherplatz einnehmen werden.

Aufwand für die Verwaltung der eigenen Entwicklungsumgebung wird notwendig sein und ist zu erwarten.