A.I. - Künstliche Intelligenz im IRB-Bereich
Bis vor wenigen Jahren war künstliche Intelligenz (KI) ein aus Science-Fiction Romanen bekannter Begriff und Machine Learning (ML) Algorithmen waren für den alltäglichen Einsatz noch nicht ausgereift genug. Insbesondere im Risikobereich von Banken schien ihre Anwendung undenkbar. Folglich blieben seit Einführung der Basler Vereinbarung revolutionäre technologische Durchbrüche im Internal Ratings-Based (IRB) Bereich des Kreditrisikomanagements aus. Doch die exponentielle Verbesserung von Rechenleistung, Datenverfügbarkeit und Speicherkapazität hat Anwendung von KI/ML zur Auswertung von “Big Data” ermöglicht und bisher nicht denkbare Möglichkeiten geschaffen. Es liegen nun komplett neue Datenquellen und Auswertungsmöglichkeiten zur Erkennung von Mustern und Abhängigkeiten vor, die herkömmliche Regressionsmodelle kaum nutzen können. Daten können in Zukunft mit Algorithmen ausgewertet werden und ML ist auf dem Vormarsch die wegweisende Technologie zu werden.
In den letzten Jahren lag der Fokus der Anwendung dabei vor allem auf Modellen zur Identifikation von Geldwäsche- und Betrugsfällen sowie der Kunden- und Transaktionsüberwachung und Clustering. Aber auch bei der Bestimmung des Kreditrisikos bieten sich Anwendungsmöglichkeiten von Machine Learning Algorithmen. In ihrem im November 2021 erschienen Diskussionspapier zu Machine Learning für IRB-Modelle [1] beschäftigt sich die EBA ausführlich mit den Fragenstellungen zu möglichen Anwendungen sowie Problemen. In dem nun am 04. August 2023 erschienen Follow-Up zur Nutzung von Machine Learning bei IRB-basierenden Modellen [2] gibt die EBA nun einen Überblick über die aktuell angewendeten Machine-Learning Algorithmen, die damit einhergehenden Problematiken sowie den regulatorischen Hintergrund. In diesem Artikel geben wir einen Überblick über die im Follow-Up angesprochenen Themen.
Regulatorischer Hintergrund
Neben den bereits bestehenden Regelwerken wie die Capital Requirements Regulation (CRR) zur Anwendung von Modellen im Kreditrisiko sind in den letzten Jahren verschiedene Regulatorien und Schriftwerke im Zusammenhang mit der Anwendung von Künstlicher Intelligenz und Machine Learning entstanden. So sind in den letzten Jahren im Rahmen der EU-Datenstrategie neben der Allgemeine Datenschutz-Verordnung der EU, dem Digital Service Act und dem Digital Marktes Act, welche der Nutzung von Daten in ML-Modellen und Algorithmen regeln, verabschiedet worden. Besonders bedeutend ist hierbei Artikel 9 der Datenschutz Verordnung, welcher unter anderem den Schutz von personenbezogenen Daten in der Verarbeitung für die Kreditrisikomodellen bzw. die Verwendung von diesen Daten zur Bestimmung der Kreditwürdigkeit verbietet[3].
Von besonderer Relevanz für die Anwendung von ML bei Kreditrisikomodellen ist ebenfalls der im Jahr 2021 veröffentlichte Entwurf zur Erneuerung der Richtlinie über Verbraucherkredite, welcher das Verbot zur Nutzung personenbezogener Daten zur Bestimmung der individuellen Kreditwürdigkeit in Artikel 9 der EU-DSGVO referenziert.
Ein weiteres bedeutendes regulatorisches Schriftstück im Bereich Banking und AI ist der europäische AI Act, dessen erster Entwurf 2021 von der EU-Kommission veröffentlicht wurde und sich aktuell in den Trilogverhandlungen befindet. Besonderes Augenmerkt liegt hierbei auf den als „Hochrisiko“ klassifizierten Anwendungsfällen von Machine Learning. In Recital 37 werden dabei Algorithmen und Modelle zur Bestimmung der Kreditwürdigkeit als Hochrisikofälle klassifiziert, da diese einen direkten Einfluss einer Person auf den Zugang zu finanziellen Ressourcen, Wohnraum sowie Elektrizität und Telekommunikation haben können und auf Grund der Verwendung historischer Daten zu Diskriminierung führen können.
Neben diesen Schriften gibt es noch weitere Regularien und Papiere, die einen Rahmen für die Verwendung von künstlicher Intelligenz im Finanzsektor bilden. Die nachfolgende Tabelle gibt einen Überblick über diese regulatorischen Schriften und deren Inhalt.
Abbildung 1: ML im Bankbereich regulatorische Schriften im Zeitverlauf
Machine Learning als Anwendung im Finanzwesen und IRB-Ansatz
Neben den bereits genutzten Anwendungen von Machine Learning im Fall von Geldwäsche und Betrugsfällen, bieten sich auch im Kreditrisikobereich Einsatzmöglichkeiten. Laut dem IIF-Bericht von 2019[4] wird Machine Learning am häufigsten im Bereich der Kreditentscheidung und Preisgestaltung eingesetzt, gefolgt von der Kreditüberwachung sowie der Neuordnung und Wiederherstellung von Forderungen. Bisweilen war man beim Einsatz von Machine Learning in regulatorischen Bereichen, in denen der Eigenkapitalbedarf ermittelt wird (wie im Kreditrisiko), sowie bei Stresstests und Rückstellungen sehr zögerlich. Allerdings können ML-Modelle einen entscheidenden Mehrwert in Punkto Genauigkeit von IRB-Risikobewertungen darstellen.
Im Rahmen eines Forschungsworkshop der EBA zum Thema neue Technologien im Bankensektor wurde das Papier „Understanding the performance of machine learning models to predict credit default: a novel approach for supervisory evaluation“[5] der Forscher Alonso und Carbó der Banco de España vorgestellt. In dem Schreiben wurden unter Verwendung eines Datensatzes einer spanischen Großbank verschiedene Machine Learning Modelle hinsichtlich ihrer Genauigkeit zur Vorhersage von Kreditausfällen evaluiert. Zu den Modellen gehören neben den üblicherweise verwendeten logistischen Regressionen, Lasslo-Penalized Logistic Regression, Classification And Regression Tree (CART), Random Forest, XGBoost sowie Deep Neural Networks. Das Ergebnis zeigt, dass insbesondere XGBoost und Random Forest das herkömmliche Logit-Modell hinsichtlich ihrer Prognosegenauigkeit schlagen. Des Weiteren wird in der Studie die Auswirkung der Verwendung von ML-Modellen auf das ökonomische Kapital untersucht. Das Resultat zeigt, dass Einsparungen von bis zu 17% der regulatorischen Kapitalanforderungen möglich sind.
Anwendung im IRB-Bereich
ML-Modelle können einen entscheidenden Mehrwert in Punkto Genauigkeit von Risikobewertungen darstellen. Des Weiteren könnten Institute, die auf ML-Techniken zurückgreifen ökonomisches Kapital einsparen. Gerade die Genauigkeit hinsichtlich der Risikobewertung ist einer der Eckpfeiler der Basel Vereinbarung, der sich in der CRR und anderen regulatorischen Schreiben widerspiegelt. Trotz der aktuellen Herausforderungen hat ML großes Potential im IRB-Bereich Anwendung zu finden. ML könnte in den verschiedensten IRB-Bereichen Anwendung finden.
Insbesondere im Kontext des Kreditrisikos haben ML-Modelle das Potenzial, die Vorhersagegenauigkeit von Kreditausfällen zu verbessern. Laut der EBA-Guideline (EBA/REP/2023/28) zeigen Rückmeldungen aus Industriekonsultationen, dass Finanzinstitutionen ML-Techniken in bestimmten Bereichen der Modellierung nach dem IRB-Ansatz einsetzen. Ein Hauptaugenmerk liegt dabei aktuell bei der Schätzung der Wahrscheinlichkeit von Ausfallereignissen (Probability of Default PD). Diese Techniken bieten eine Möglichkeit, die Risikobewertung innerhalb des PD-Modells zu verfeinern und zu differenzieren. Vor dem Hintergrund der aktuellen Datenlagen kommen Machine Learning Methoden dabei zu einem großen Teil bei der Risikodifferenzierung zum Einsatz. Zur Bestimmung der Risikofaktoren eigenen sich dabei besonders gut Random Forest und Gradient Booster Tree Techniken.
Ebenfalls werden aber bereits Machine Learning Techniken zur Bestimmung von Loss given Default (LGD), Exposure at Default (EAD), Expected Loss Best Estimate (ELBE), Credit Conversion Factor (CCF) und in einem Fall Expected Credit Loss (ECL) verwendet. Dabei lassen sich vor allem Clustering oder Textminingverfahren zur Analyse und Auswahl der relevanten Eingabedaten sowie zur Datenvervollständigung und Behandlung unstrukturierter Daten bei PD- und LGD-Modellen nutzen. Im Rahmen der Bewertung des Exposures bzw. dem Scoring können ML Algorithmen besonders bei nicht-linearen Zusammenhängen zur Robustheitsanalyse, Performanceverbesserung sowie der Analyse alternativer Ansätze (vgl. CRR Artikel 190 (2)) genutzt werden. Dabei bietet es sich vielleicht gerade in der Einführungsphase an mit Hilfe von Machine Learning Verfahren die Parameter der aktuell verwendeten Modelle zu prüfen und gegebenenfalls Fehler zu identifizieren.
Zu guter Letzt lassen sich Machine Learning Algorithmen auch zur Evaluation von Immobilienwerten einsetzen. Diese spielen eine wichtige Rolle im Rahmen der Sicherheitswertbestimmung bei der Kreditvergabe und auch über den gesamten Lebenszyklus des Kredites hinweg. Selbstverständlich lässt sich auch der Wert anderer Sicherheiten mit Hilfe von Machine Learning Algorithmen bestimmen z.B. der Wert von Fahrzeugen oder der Wert von Schiffen oder Flugzeugen.
Abbildung 2 veranschaulicht Anwendungsbeispiele von ML im Risikobereich von Banken.
Abbildung 2: Anwendungsfelder von ML im Risikobereich
Herausforderungen bei KI/ML-Implementierung
Während sich mit Machine Learning Verfahren die oftmals vorhandenen großen Datenmengen effektiv struktiveren und analysieren lassen, geht mit diesen oftmals eine große Komplexität einher. Da im Rahmen der bestehenden Regulatorik eine vollständige Erklärbar- sowie Dokumentierbarkeit des Modells notwendig ist, ist die Anwendung von ML Algorithmen gegenüber diesen Kriterien und Herausforderungen zu bewerten.
Statistische Probleme und Overfitting
Bei Overfitting optimiert das ML-Verfahren zwar den Fit eines Modells innerhalb eines gegebenen Trainingsdatensatzes, das Modell spiegelt aber nicht mehr den tatsächlichen Zusammenhang wider. Es werden dabei ggf. Variablen oder Parameter in ein Modell aufgenommen, die eigentlich in der Grundgesamtheit keinen Einfluss haben, aber durch den Zufallseffekt in einer bestimmten Stichprobe den Fit verbessern. Vor diesem Hintergrund spricht man im ML-Bereich bei Overfitting auch davon, dass ein Modell zu stark auf einen bestimmten Datensatz trainiert ist. Demgegenüber steht Underfitting, also wenn ein Modell zu wenig auf einen Datensatz trainiert ist. Es ist in diesem Zusammenhang wichtig den richtigen Trade-Off zu finden.
Die CRR erwähnt in diesem Zusammenhang, dass dies damit verbunden ist, dass innerhalb einer Entwicklungsstichprobe optimiert wird. Dies führt zu einer guten Performance innerhalb der Entwicklungsstichprobe lässt sich aber möglicherweise nicht auf die Grundgesamtheit übertragen. Um Overfitting zu verhindern, empfehlen sich Leistungsfähigkeitstests außerhalb des Beobachtungszeitraums (out-of-time) und außerhalb der Stichprobe (out-of-sample) (175(4)(b) CRR).
Herausforderungen beim Modelldesign
Eng verbunden mit dem Overfitting ist der Verlust des tatsächlichen ökonomischen Zusammenhangs. Sprich es könnte passieren, dass der ML-Algorithmus bei der Modellselektion ein Modell wählt, dass zwar den besten Fit hat aber nicht den ökonomischen Zusammenhang widerspiegelt. Auch hier empfehlt es sich u.a. Leistungsfähigkeitstests außerhalb des Beobachtungszeitraums bzw. der Stichprobe durchzuführen. Es könnte sich außerdem empfehlen, Expertenmeinungen bei der Festlegung der Hyperparameter zu konsultieren.
Menschliche Parameter
Der Einsatz von ML würde selbstverständlich zusätzliches Know-how der Mitarbeiter erfordern. Dazu zählen theoretisches Wissen über ML-Techniken und der Beurteilung ihrer Robustheit, mathematisch-statistisches Verständnis von ML-Verfahren, Modellstabilitätsevaluierung und Overfitting-Vermeidung und Hyperparameter-Abstimmung. Selbstverständlich sind auch Programmierkompetenzen nötig. Finanzinstitute schlagen vor, ML-Experten einzustellen, interne/externe Schulungen zu organisieren und Wissensaustausch zwischen Abteilungen zu fördern..
Erklärbarkeit
Die zentrale Herausforderung ergibt sich aus der Komplexität, von ML-Modellen, die gerade bei besonders umfangreichen Modellen zu folgenden Schwierigkeiten führen könnte:
Bei Ergebnisinterpretationen und dem Modellverständnis des Managements
Die Überwachung der Risikowerte mittels menschlichen Urteilsvermögens erfordert ein vollumfängliches Verständnis der Modelle. Vor diesem Hintergrund birgt die Komplexität einiger ML-Modelle die Gefahr der Entwicklung von "Black Box"-Modellen mit sich. Die ausgewählten Risikotreiber tragen entsprechend ihrer wirtschaftlichen Bedeutung zur Risikobewertung bei (wie in Artikel 174 Buchstabe e der CRR gefordert).
2. Zur Rechtfertigung der Ergebnisse gegenüber Aufsichtsbehörden
Wenig überraschend ist, dass laut dem IIF-Bericht von 2019 über Machine Learning im Kreditrisikomanagement die Komplexität von ML verbunden mit einem mangelnden Verständnis der Aufseher auch eine der größten Herausforderungen im Kontrollbereich der Aufsichtsbehörden darstellt.
Kategorisierung und Dokumentation von Modelländerungen
Vor dem Hintergrund von Artikel 175 CRR ist die Dokumentierbarkeit der Bewertungssystem sowie ihrer Methodologie von besonderer Bedeutung vor dem Hintergrund der durch Machine Learning Modelle einhergehende Komplexität.
Der Algorithmus könnte im Zeitverlauf mit sich ändernden Rohdaten häufig das gewählte “optimale” Modell ändern. Dies muss geprüft, dokumentiert und möglicherweise erörtert werden, um eine Interpretierbarkeit des Modells zu gewährleisten.
Datenqualitätsprobleme
ML-Techniken sind sehr datenintensiv. Insbesondere für die Risikoquantifizierung im Rahmen der PD sind lange Zeitreihen von Nöten. Vor diesem Hintergrund könnte es insbesondere für kleinere Institute eine Herausforderung darstellen eine ausreichende Datenmenge und -qualität zu gewährleisten. Eine Verwendung von Machine Learning Verfahren wäre in einem solchen Fall nicht immer möglich. .
Abbildung 3: Herausforderungen von ML im Risikobereich
Fazit
Die Anwendung von Künstlicher Intelligenz und Machine Learning Verfahren beim IRB-Ansatz bietet eine Vielzahl von Möglichkeiten. Dabei können die vorhanden Eingabedaten analysiert und strukturiert werden, die bestehenden Modelle validiert werden oder neue optimale Modelle insbesondere bei der Bestimmung der PD und LDG entwickelt werden. Dabei muss vor dem Hintergrund der bestehenden Regulatorik jedoch immer gegenüber der Erklärbarkeit und Komplexität der Modelle abgewogen werden. Gleichzeitig zeigt die rapide technologische Weiterentwicklung, dass weiterhin ebenfalls eine Weiterentwicklung der regulatorischen Anforderungen im Bereich Kreditrisiko und Machine Learning geben wird, welche aus Institutssicht eng begleitet werden muss.
Wie Finbridge unterstützen kann
Die Möglichkeiten zum Einsatz von Machine Learning im Finanzwesen mit Fokus auf den IRB-Ansatz sind wie oben gelistet vielfältig. Gleichzeitig stellen sie Institute vor die Herausforderung der Wahl der passenden Verfahren, um den Erfolg Ihrer Geschäftsstrategie zu garantieren. Finbridge unterstützt Sie gerne bei der Wahl und Validierung ihrer Machine Learning Modelle, dem Abgleich mit bestehenden Modellen sowie der Robustheitsanalyse. Insbesondere schulen wir Sie und Ihre Mitarbeiter:innen gerne im Bereich Machine Learning mit dem Fokus auf den IRB-Ansatz. Dies beinhaltet unter anderem ein Verständnis über die diversen Machine Learning Algorithmen, die passende Hyperparameterwahl und die Auswahl der passenden Eingabedaten.
Unsere Expert:innen verfügen über ein umfassendes Wissen hinsichtlich der regulatorischen Vorgaben für die Anwendung von Machine Learning beim IRB-Ansatz sowie die gängigen Machine Learning Modelle in diesem Bereich. Gemeinsam mit Ihnen strukturieren, analysieren und modellieren wir gerne ihre Kreditrisikodaten und unterstützen sie im Anschluss bei der Dokumentation.
Quellen und Anmerkungen
[1] EBAs: Discussion paper on machine learning for IRB models; EBA/DP/2021/04
[2] EBAs: Machine Learning for IRB Models: Follow-Up Report form the consultation on the Discussion paper on machine learning for IRB Models; EBA/REP/2023/28
[3] Vgl. Artikel 9 der EU-Verordnung 2016/679 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung)
[4] IIF: Machine Learning in Credit Risk; 2nd Edition Summary Report; August 2019
[5] Alonso, Andrés and Carbó, José Manuel, Understanding the Performance of Machine Learning Models to Predict Credit Default: A Novel Approach for Supervisory Evaluation (January 27, 2021). Banco de Espana Working Paper No. 2105, Available at SSRN: https://ssrn.com/abstract=3774075 or http://dx.doi.org/10.2139/ssrn.377407
Autoren: Alexander Schiller, Dr. Ingeborg Keller, Stefan Scheutzow
