Tobias Hallmen M.Sc.
| Telefon: | +49 821 598 2322 |
| Fax: | +49 821 598 2349 |
| E-Mail: | tobias.hallmen@uni-auni-a.de () |
| Raum: | 2016 (N) |
| Sprechzeiten: | Nach Vereinbarung |
| Adresse: | Universitätsstraße 6a, 86159 Augsburg |
Forschungsinteressen
Ich führe Gesprächsanalysen multimodal (Audio, Video, Text) mit Hilfe von Methoden aus dem Bereich des maschinellen Lernens und künstlicher Intelligenz (KI) durch. Dabei untersuche ich, ob und wie man mit diesen Methoden verschiedene Gesprächssituationen auswerten und bewerten kann.
Die Gespräche finden im Kontext von Psychotherapiesitzungen (Projekt TherapAI), Humanmediziner- und Lehrerausbildung (Projekt KodiLL) statt. Das Ziel ist es, Zusammenhänge zu finden und diese zu nutzen, um die Qualität dieser Gespräche messbar und (automatisiert) bewertbar zu machen, sowie langfristig zu verbessern. Dies kommt beiden Seiten zu Gute - den Therapeuten/Medizinern/Lehrern sowie den Patienten/Eltern.
So ist es denkbar, dass man gefundene Merkmale nutzt um bei Therapien zu intervenieren, oder in der Ausbildung KI-gestützte Rückmeldungen und Handlungsempfehlungen den Studenten gibt, um zukünftig bessere Gespräche zu führen.
Abschlussarbeiten
Hier sind Themen, die ich mir als Abschlussarbeit vorstelle. Bestenfalls werden die Ergebnisse als Modul für Nova implementiert - dadurch ist eine einfache Wiederverwendung gegeben, und man kann die unterschiedlichen Merkmale auf bestehenden Datensätzen einfach in Zusammenhang bringen und Auswerten. Gerne könnt ihr auch eigene thematisch passende Vorschläge einbringen:
-
Sprechereinteilung: Oftmals gibt es keine nach Sprecher getrennten Audioaufnahmen, oder falls doch, hört man auch die anderen Sprecher (leiser) in der eigenen Aufnahme. Dies verfälscht die Zuordnung von audiobasierten Merkmalen, z.B. die Transkription oder Emotionserkennung.
Bestehende Verfahren nutzen hier rein Audio - hier wäre es denkbar diese Modalität um Video oder Text oder andere abgeleiteten Merkmale (Gesichtspunkte) zu ergänzen und so die Sprechereinteilung zu verbessern. - Rezeptionssignale: Während jemand spricht, geben üblicherweise die Zuhörer Rezeptionssignale von sich (ja, mhm, Kopfnicken, usw.). Diese sind Hinweise, ob und wie sehr jemand am Gespräch beteiligt ist. Hier gilt es bestehende Methoden zu implementieren, zu verbessern, und zu evaluieren.
-
Fern-Photoplethysmographie: Üblicherweise tragen die gefilmten Personen keine Sensoren an sich, trotzdem wären einige Werte interessant, bspw. die "Manschettenfreie Blutdruckmessung" über Video um Herzrate und Variabilität zu ermitteln. Diese können Anzeichen für Aufgeregtheit im Gespräch und nützlich für Auswertungen sein.
-
Sprachmodelle als Experte: Können (kleine) Sprachmodelle aufwändige Annotations- und Beurteilungsarbeit Menschen abnehmen, oder mindestens unterstützen? Wegen sensibler Daten müssen diese Modelle lokal ausführbar sein, bestenfalls auf Endverbraucherhartware.
-
Sprachmodelle als Übungspartner: Sprachmodelle werden gerne zur synthetischen Datengenerierung genutzt. Kann man diese auch (lokal) als sinnvollen Übungspartner einsetzen um Elterngespräche auf verschiedenen Schwierigkeitsgraden zu üben?