Wiener Forscherteam revolutioniert KI-Sicherheit: Ein Meilenstein für Fairness und Robustheit

Analyse von neuronalen Netzwerken

Anagha Athavala vom Institut für Logic und Computation der TU Wien analysiert neuronale Netzwerke, die bestimmte Eingabedaten bestimmten Kategorien zuordnen. Die Eingabe könnte zum Beispiel eine Verkehrssituation sein, anhand derer ein neuronales Netzwerk entscheidet, ob ein selbstfahrendes Auto lenken, bremsen oder beschleunigen soll. Der Input könnten auch Datensätze über Bankkunden sein, auf deren Basis die KI entscheidet, ob eine Person einen Kredit bekommt.

Wichtige Eigenschaften: Robustheit und Fairness

Von einem solchen neuronalen Netz werden den Forscherangaben zufolge zwei wichtige Eigenschaften verlangt: "Robustheit und Fairness", so Athavala. Ist es robust, dann sollten zwei Situationen, die sich nur in kleinen Details unterscheiden, auch zum selben Ergebnis führen. Als "fair" gilt ein neuronales Netz, wenn es dasselbe Ergebnis bei zwei Situationen liefert, die sich nur in einem, für die Entscheidung belanglosen Wert unterscheiden.

Beispiel zur Kreditwürdigkeit

Als Beispiel nennt die Computerwissenschafterin ein neuronales Netz zur Einschätzung der Kreditwürdigkeit und zwei Personen mit sehr ähnlichen finanziellen Daten, aber unterschiedlichem Geschlecht oder Ethnie: "Das sind Parameter, die auf die Kreditvergabe keinen Einfluss haben sollten. Das System sollte also in beiden Fällen dasselbe Ergebnis liefern." Das ist nicht selbstverständlich, wie in der Vergangenheit wiederholt Systeme gezeigt haben, die mit vorurteilsbehafteten Daten trainiert wurden.

Global statt lokal verifizieren

Techniken zur Verifizierung von Robustheit und Fairness hätten sich bisher meist auf die lokale Definition der beiden Eigenschaften konzentriert. Dabei werde für einen ganz bestimmten Input überprüft, ob kleine Unterschiede zu abweichenden Ergebnissen führen. Ziel sei aber die Definition globaler Eigenschaften, um zu "garantieren, dass ein neuronales Netz immer diese Eigenschaften aufweist, ganz unabhängig von der Eingabe", so Athavala.

Präsentation eines neuen Systems

Den Forscherinnen und Forschern ist es gelungen, ein solches System zu entwickeln. Vorgestellt haben sie es diese Woche auf der 36th International Conference on Computer Aided Verification in Montreal (Kanada). "Unser Verifizierungs-Tool prüft das neuronale Netz nicht nur auf bestimmte Eigenschaften, sondern es gibt auch Auskunft über den Grad des Vertrauens." Eine solche auf Vertrauen basierende Sicherheitseigenschaft sei eine wichtige Änderung in der Art und Weise, wie globale Eigenschaften von neuronalen Netzen definiert werden. Die Methode ermögliche es, ein neuronales Netz rigoros zu testen und gewisse Eigenschaften mit mathematischer Zuverlässigkeit zu garantieren.

(APA)