Virtueller Zuhörer durch Bewegungssynthese     

In diesem Projekt soll ein fotorealistischer virtueller Charakter lernen, wie er einem Sprecher in Echtzeit aufmerksam zuhört und richtig auf den Sprecher reagiert. Dies kann beispielsweise nonverbales Verhalten wie Backchanneling (z.B. Nicken, Lächeln), aber auch die passende Mimik oder Gestik zum aktuellen Kontext umfassen. Zur Visualisierung wird Meta-Human benutzt (Epic Games), für das Machine-Learning State-of-the-Art Methoden aus der Literatur. Das Endergebnis ist eine Live-Pipeline, in welcher der Benutzer eine Geschichte erzählt und die virtuelle Figur in der Zwischenzeit das gelernte Zuhörerverhalten anwendet.

Virtueller Sprecher durch Bewegungssynthese     

In diesem Projekt soll ein fotorealistischer virtueller Charakter lernen, wie er beim Sprechen das richtige nonverbale Verhalten zeigt. Da dieses Verhalten manchmal vom Kontext abhängt (z.B. emotional vs. nicht emotional), kann die Mimik oder Gestik für die aktuelle Sprachsequenz variieren.  Zur Visualisierung wird Meta-Human benutzt (Epic Games), für das Machine-Learning State-of-the-Art Methoden aus der Literatur. Das Endergebnis ist eine Live-Pipeline, in welcher der virtuelle Charakter eine Geschichte zusammen mit dem gelernten nonverbalen Verhalten vorträgt.

Diskussion mit einem virtuellen Charakter     

In diesem Projekt soll eine Pipeline erstellt werden, in welcher ein Nutzer mit einem photorealistischen Charakter ein Gespräch führen kann. Der Charakter soll dabei möglichst passende Antworten geben (z.B. LLM)  und mit synchronen Lippenbewegungen sprechen. Die meisten Tools dafür existieren bereits am Lehrstuhl und müssen lediglich zusammengebaut werden. Ein Hauptfokus wird darauf liegen, ein bereits existierendes TTS-System zur Generierung von Lippenbewegungen und Audio einzusetzen.