Heute wurde unser Paper „Agree to Disagree: Exploring Consensus of XAI Methods for ML-based NIDS“ auf dem 1st Workshop on Network Security Operations (NecSecOr) vorgestellt. In diesem Paper werden die Effektivität und der Konsens verschiedener erklärbarer KI-Methoden (XAI) bei der Verbesserung der Interpretierbarkeit von auf Maschinellem Lernen basierenden Network Intrusion Detection Systems (ML-NIDS) untersucht. Dabei wird festgestellt, dass einige Methoden sehr gut übereinstimmen, während andere voneinander abweichen, was die Notwendigkeit einer sorgfältigen Auswahl unterstreicht, um Vertrauen in reale Cybersicherheitsanwendungen aufzubauen.

Abstract:

Die zunehmende Komplexität und Häufigkeit von Cyberangriffen erfordert Network Intrusion Detection Systems (NIDS), die sich an die sich entwickelnden Bedrohungen anpassen können. Künstliche Intelligenz (KI), insbesondere maschinelles Lernen (ML), erfreut sich zunehmender Beliebtheit bei der Erkennung anspruchsvoller Angriffe. Ihr potenzieller Mangel an Interpretierbarkeit ist jedoch nach wie vor ein erhebliches Hindernis für ihre breite Anwendung in der Praxis, insbesondere in sicherheitssensiblen Bereichen. Als Reaktion darauf wurden verschiedene erklärbare KI-Methoden (XAI) vorgeschlagen, um Einblicke in den Entscheidungsprozess zu ermöglichen. In diesem Beitrag wird untersucht, ob diese XAI-Methoden, darunter SHAP, LIME, Tree Interpreter, Saliency, Integrated Gradients und DeepLIFT, ähnliche Erklärungen liefern, wenn sie auf ML-NIDS angewendet werden. Durch die Analyse der Übereinstimmung zwischen diesen Methoden über verschiedene Datensätze und ML-Modelle hinweg untersuchen wir, ob es eine Übereinstimmung gibt, die die praktische Einführung von XAI in der Cybersicherheit vereinfachen könnte, da ähnliche Erklärungen die Notwendigkeit strenger Auswahlprozesse beseitigen würden. Unsere Ergebnisse zeigen einen unterschiedlichen Grad an Übereinstimmung zwischen den Methoden, was darauf hindeutet, dass einige sehr ähnlich sind, während andere erheblich voneinander abweichen, was die Notwendigkeit einer sorgfältigen Auswahl und Kombination von XAI-Tools zur Verbesserung der Vertrauenswürdigkeit in realen Anwendungen unterstreicht.