REGULIERUNG Z Z Z
REGULIERUNG Z Z Z Erstens sind das KI-Anwendungen, die laut Art. 5 gänzlich verboten sind. Darunter fallen bspw. Systeme, die die unterschwellige Beeinflussung zum Schaden anderer zum Ziel haben oder solche Systeme, die zur biometrischen Fernidentifikation im öffentlichen Raum eingesetzt werden können. Zweitens gibt es die Gruppe sogenannter Hoch-Risiko-KI-Systeme. Diese werden gemäß Art. 6-51 umfassend reguliert. Die Definition von Risikosystemen erfolgt dabei nicht anhand von Prinzipien, sondern ist eine reine Aufzählung (siehe Art. 6, Abs. 2 und Anhang III der KI-Verordnung). Eine Differenzierung nach der Art des Schadens, der entstehen kann – etwa unterschiedliche Risikoeinstufungen für gesundheitliche Schäden, finanzielle Schäden oder Schäden der Reputation – wird nicht vorgenommen. Der Ansatz ist insofern kritisch zu beurteilen, weil die Risiken aus diesen Systemen explizit nicht benannt oder objektiv belegt sind. Schließlich werden auch bestehende risikomitigierende (gesetzliche) Anforderungen bei der Einstufung nicht berücksichtigt. Die dritte Gruppe umfasst Systeme minderen Risikos, für die lediglich Offenlegungsverschriften bestehen (Art. 52). Der Kern des Verordnungsvorschlags besteht somit in der Regulierung von sogenannten Hoch-Risiko-Systemen. Die Regulierung von Hoch-Risiko-KI ist eng verbunden mit dem bestehenden Produktsicherheitsrecht der EU und dem horizontalen Ansatz des New Legislative Framework (NLF). Hierunter fallen beispielsweise Maschinen, Aufzüge, Funkanlagen oder Medizinprodukte. Zusätzlich definiert die Kommission acht Anwendungsbereiche der KI außerhalb der Produktsicherheit, bei denen von hohem Risiko ausgegangen wird. Dazu gehören unter anderem Systeme zum Ma- 20 05 | 2022
REGULIERUNG nagement von kritischen Infrastrukturen. Hierunter kann auch die Finanzbranche im engeren Sinn verortet werden, wobei sofort die Kreditwürdigkeitsprüfung von Personen augenfällig wird. Anbieter von Hoch-Risiko-Systemen müssen eine Vielzahl von Anforderungen erfüllen. So ist ein umfassendes Risikomanagementsystem über die gesamte Lebenszeit des Systems erforderlich. Hinzu kommen Data-Governance-Verfahren, die beispielsweise die Repräsentativität der genutzten Daten sicherstellen sollen. Umfassende technische Dokumentationen, permanente Protokollierung und eine dauerhafte menschliche Aufsicht (Art. 9-14) vervollständigen die Anforderungen. Menschliche Entscheider sollten dabei stets in der Lage sein, das Ergebnis eines solchen Hoch-Risiko-KI-Systems zu „überschreiben“ oder auch die Anwendung zu beenden. Das regel- und datenbasierte Modell soll also niemals die letzte Entscheidung treffen können. Ein ähnlicher Geist ist in der Finanzbranche bereits aus der Regulierung der Vergütungspolitik in Finanzinstituten bekannt. Auch hier soll niemals eine quantitative Regelung das letzte Wort in der Entscheidung über die Vergütung haben. Vielmehr hat der Vergütungsausschuss die auf einer quantitativen Basis gründende Vergütungspolitik fortlaufend zu überprüfen und gegebenenfalls Änderungen an der Vergütungspolitik vorzunehmen. Da der EU-Verordnungsentwurf keine sektorale Regulierung darstellt, sind in Ergänzung dazu die gesetzlichen Aktivitäten von Interesse, die an die KI-Verordnung andocken werden. Im Folgenden soll das für die Finanzbranche mit Fokus auf die Risikomanagementsysteme in Banken geschehen. Der Einsatz von KI-Modellen ist laut BaFin möglich Im Finanzsektor wird schon seit einiger Zeit über die Anwendung von KI-Systemen sowie die damit einhergehenden Risiken vor dem Hintergrund der Finanzmarktregulierung diskutiert. Hervorzuheben ist hier der Bericht 3 der Europäischen Bankenaufsichtsbehörde (EBA) aus dem Jahr 2020. Auf nationaler Ebene hatte die Bundesanstalt für Finanzdienstleistungsaufsicht (Ba- Fin) im Sommer 2021 eine Umfrage zu „Maschinellem Lernen in Risikomodellen“ 4 gestartet. Sie ergab, dass Banken und Versicherer Methoden des Maschinellen Lernens bereits in ausgewählten Bereichen anwenden. Dies trifft beispielsweise auf die Geldwäscheund Betrugserkennung sowie Analysen im Kreditprozess zu. Bei einigen Instituten finden KI-Modelle ebenfalls Anwendung im Vertrieb und bei der Bepreisung von Produkten. In internen Risikomodellen finden sich ML-Techniken dagegen bisher nur vereinzelt. Bekanntermaßen lässt sich die BaFin von einem technologieneutralen Prinzip leiten. Danach würde sie auf eine Definition von Maschinellem Lernen verzichten. Dies deckt sich mit der Einschätzung vieler Praktiker, wonach eine Definition einerseits wegen der Abgrenzung zu bestehenden Modellen unsauber wäre. Andererseits würde sie zwangsläufig zu eng gefasst sein, wenn man die stetige Weiterentwicklung aus den letzten Jah- 05 | 2022 21
