52 01 | 2020 04 |
52 01 | 2020 04 | Grenzwertoptimierungskurve für ein gelerntes Modell 1,0 0,9 CUT-OFF-RATIO: 43 % 0,8 0,7 True Positive Rate 0,6 0,5 0,4 0,3 0,2 0,1 0 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 False Positive Rate Quelle: ACTICO GmbH. Aus den in der Datenbank (1) enthaltenen Fällen mit Ergebnis werden im Feature Engineering (2) die Eigenschaften (Features) und das erwartete Ergebnis (Label) extrahiert. Die extrahierten Daten werden in Trainingsdaten und Testdaten aufgeteilt. Mit Verfahren des überwachten Lernens werden dann Modelle aus den Trainingsdaten erstellt (3). Die Modelle werden mit den Testdaten überprüft (4). Nach dem Review können Modelle in den Betrieb übernommen (5) werden. Die für das ML-Modell verwendeten Features sind: ■ Die Information, welche Vergleiche durch den Algorithmus durchgeführt wurden, z. B. der Vergleich des Nachnamens des Kunden mit den Nachnamen auf der Liste oder der Vergleich des Vor- und Nachnamens des Kunden mit einem Alias auf der Liste. ■ Die Information, mit welchem Ergebnis der Vergleich durchgeführt wurde, zum Beispiel Gleichheit, Ähnlichkeit, etc. ■ Nicht als Features enthalten sind die tatsächlichen Daten zum Kunden und zum Listeneintrag. Dies geschieht zum Datenschutz, damit die Features keine Informationen enthalten, mit denen der Kunde identifiziert werden könnte. Bewertung des gelernten Modells Die Bewertung eines Modells kann unterschiedlich erfolgen. Wird wie hier eine Unterteilung in zwei Klassen vorgenommen, so kann dies als Grenzwertoptimierungskurve (Receiver Operating Characteristic, ROC) dargestellt werden. » 4 Je stärker die blaue Kurve im Diagramm von der Diagonalen nach oben links abweicht, umso besser konnten die Fälle klassifiziert werden. Werden in diesem Beispiel die Fälle priorisiert nach der von ML ermittelten Wahrscheinlichkeit für die Übereinstimmung bearbeitet, dann wird nach ca. 40 Prozent der Fälle keine weitere tatsächliche Übereinstimmung mehr gefunden. In der Praxis wurden Modelle zunächst mit den Daten von sechs Kunden erstellt. In allen Fällen standen mehr als 25.000 Datensätze zur Verfügung. Dabei wurden mit Random-Forests- Modelle erstellt, die die Fälle gut klassifizieren. Es konnten in
01 | 2020 53 der Regel 30 bis 40 Prozent der Abklärungen zuverlässig als nicht-übereinstimmend eingestuft werden. Im Einzelfall (wie oben) auch mehr. Zusammenfassung Die Anwendung von Machine-Learning-Techniken in der Finanzindustrie, insbesondere auch im Risikocontrolling und in der Compliance-Abteilung von Banken, umfasst inzwischen ein breites Spektrum an Einsatzgebieten. Durch den Einsatz von ML kann hier eine Klassifizierung bzw. Priorisierung von Treffern in der Namensprüfung erreicht werden. Durch die Identifizierung von False Positives und den Ausschluss dieser nicht-relevanten Treffer aus der Folgebearbeitung kann der Aufwand bei der Trefferanalyse deutlich reduziert werden. Der in diesem Artikel behandelte NMC-Prozess ist nur ein möglicher Anwendungsfall von KI- bzw. ML-Ansätzen im Compliance-Umfeld. So gibt es auch Ansätze, das Reputationsrisiko zu kontrollieren, indem Compliance-Risiken durch Analyse unstrukturierter Kommunikationsdaten gehandhabt werden. Die Analyse von Kommunikationsdaten mit ML-Methoden kann aber auch auf wesentlich komplexere Szenarien, wie der Betrugsprävention und der Vermeidung von Insider-Handel, angewendet werden. Über Compliance-spezifische Themenfelder hinaus gibt es auch Anwendungsfälle, die sich mit der Kreditrisikoüberwachung beschäftigen 5 [DobrikovGraf2017]. Autoren Dr. Ulrich Lechner ist Manager bei der d-fine GmbH. Der Diplom-Phsyiker zeichnet als Co- Head des Competence Center Compliance u. a. auch für Projekte zur Prävention von Geldwäsche und Terrorismusfinanzierung verantwortlich. Dr. Marcel Langenberg ist theoretischer Physiker im gleichen Unternehmen. Sein Schwerpunkt liegt in der Entwicklung von kundenspezifischen Machine-Learning-Anwendungen. Thomas Ohlemacher ist Produktmanager bei ACTICO GmbH. Der Diplominformatiker hat seinen Fokus auf Software für Compliance-Themen bei Privat- und Investment-Banken gelegt. 1 Vgl. K.P. Murphy: „Machine learning: a probabilistic perspective” MIT Press, 2012. 2 Vgl. J.R. Quinlan: „Induction of Decision Trees. Mach. Learn. 1, 1986 sowie „C4.5: Programs for Machine Learning”, 1993. 3 Vgl. G. James, D. Witten, T. Hasti, and R. Tibshirani: „An Introduction to Statistical Learning”, 2017. 4 Vg. L. A. Breslow and D. W. Aha: „Simplifying Decision Trees: A Survey”, The Knowledge Engineering Review, Vol 12, 1997. 5 Vgl. T. Dobrikov und F. Graf: „Nachrichten in Frühwarnsystemen und dem Kreditrisikomanagement“, Zeitschrift für das gesamte Kreditwesen, Heft 09/2017, sowie T. Dobrikov, F. Graf, S. Stadelmann, S. Ulsamer: „Kontrolle des Reputationsrisikos: Management von Compliance-Risiken durch Analyse unstrukturierter Kommunikationsdaten“, FIRM Jahrbuch 2019.
