Aktuelle Machine-Learning-Ansätze haben das Potenzial, menschliches Verhalten auf Basis von zuvor festgelegten Kriterien objektiv und reliabel zu erfassen. Verhalten von Student*innen (etwa in der Interaktion mit Schauspielpatient*innen bei der ärztlichen Gesprächsführung oder bei einem Übungsvortrag) kann auf diese Weise erkannt und damit zur Formulierung von Feedback mit Blick auf ihre Kompetenzentwicklung genutzt werden. Aufbauend auf umfangreichen eigenen Vorarbeiten soll ein Machine-Learning-Algorithmus weiterentwickelt werden, der menschliches Verhalten in Bezug auf seine Konvergenz mit gewünschten Verhaltenskriterien analysiert. Die so erzielten Ergebnisse werden genutzt, um Student*innen automatisiertes, KI-basiertes Feedback auf ihr Verhalten zu präsentieren, das sie in digital angereicherten Präsenzsettings in unterschiedlichen Fächern zeigen (kommunikatives Verhalten z.B. in Arzt-Patienten- oder Elternberatungsgesprächen). Der Mehrwert gegenüber menschlichem Feedback liegt u.a. in der größeren Objektivität und der späteren Skalierbarkeit des Ansatzes. Diesem Projekt sind hauptverantwortlich die Fakultät für Angewandte Informatik und die Medizinische Fakultät zugeordnet. Transferiert werden die Entwicklungen im dritten Projektjahr in die Lehrerbildung (Philosophisch-Sozialwissenschaftliche Fakultät).

2024

• Hallmen, T., Deuser, F., Oswald, N., & André, E. (2024). Unimodal multi-task fusion for emotional mimicry prediciton. PDF

• Schiller, D., Hallmen, T., Don, D. W., André, E., & Baur, T. (2024). DISCOVER: A Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of Human Behaviour. arXiv preprint arXiv:2407.13408.

• Hallmen, T., Deuser, F., Oswald, N., & André, E. (2024). Unimodal Multi-Task Fusion for Emotional Mimicry Intensity Prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (S. 4657-4665). IEEE Computer Society. https://doi.org/10.48550/arXiv.2403.11879

2023

• Hallmen, T., Mertes, S., Schiller, D., Lingenfelser, F., & André, E. (2023). Phoneme-Based Multi-task Assessment of Affective Vocal Bursts. In D. Conte, A. Fred, O. Gusikhin, & C. Sansone (Hrsg.), Deep Learning Theory and Applications (Vol. 1875, S. 209–222). Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-39059-3_14

2022

• Bauermann, M., Schindler, A.-K., & Rotthoff, T. (2022). Studienprotokoll: Einfluss von Mimik in medizinischen ad hoc-Anvertrauensentscheidungen. In D. Stoevesandt (Hrsg.), GMA 2022 - Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) (S. 37-38). Halle: German Medical Science GMS Publishing House. https://doi.org/10.3205/22gma050

• Hallmen, T., Mertes, S., Schiller, D., & André, E. (2022). An Efficient Multitask Learning Architecture for Affective Vocal Burst Analysis. https://arxiv.org/html/2210.15754/.

• ​​​​​​ Lehrstuhl für Menschzentrierte Künstliche Intelligenz
• Lehrstuhl für Medizinische Psychologie und Soziologie
• Lehrstuhl für Medizindidaktik und Ausbildungsforschung
• DigiLLab - Zentrum für digitales Lehren und Lernen