Heute wurde unser Paper „Certainly Uncertain: Demystifying ML Uncertainty for Active Learning in Network Monitoring Tasks“ auf der 20th International Conference on Network and Service Management (CSNM) vorgestellt. In dieser Arbeit untersuchen wir den Einsatz von Active Learning (AL) zur Verbesserung von Machine Learning (ML) Modellen in der Netzwerküberwachung durch die Einbeziehung von Expertenbeiträgen mit dem Ziel, das Vertrauen in das Modell, die Anpassungsfähigkeit und die Leistung zu erhöhen. Dabei wird eine umfassende Evaluierung von auf Unsicherheit basierenden AL-Ansätzen für verschiedene Datensätze und Szenarien vorgenommen.

Abstract:

Künstliche Intelligenz (KI), insbesondere maschinelles Lernen (ML), ist in der Netzüberwachung zu einem wichtigen Faktor geworden, doch ihre praktische Anwendung, z. B. bei der Erkennung von Anomalien und Eindringlingen, ist nach wie vor begrenzt. Standard-KI/ML-Methoden schließen häufig Experten aus, was das Vertrauen verringert und praktische Implementierungen behindert. Aktives Lernen (AL) ermöglicht es, Administratoren und ihr Expertenwissen in die ML-Schleife zu integrieren, indem es von Experten markierte Daten nutzt. Zusammen mit Selbsttraining und automatisierten Entscheidungen kann AL die Modellleistung, das Vertrauen und die Fähigkeit zur Anpassung an Systemänderungen verbessern. In dieser Arbeit evaluieren wir die auf Unsicherheit basierende AL in der Netzwerküberwachung und bieten eine umfassende Parameterstudie für Best Practices in der realen AI/ML-Anwendung. Zu diesem Zweck evaluieren wir Stream-basierte und Pool-basierte AL in vier Datensätzen für verschiedene Überwachungsanwendungsfälle und führen eine Parameterstudie zu zehn Unsicherheitsmaßen durch, wodurch Szenarien identifiziert werden, die vom Selbsttraining profitieren. Durch die Analyse der Auswirkungen der Verwaltungskompetenz auf die Modellleistung bieten wir handlungsorientierte Leitlinien für die praktische Umsetzung von AL.