Regeln im Umgang mit ML/KI - Prinzipien der BaFin [Teil 3]: Spezifische Prinzipien der Entwicklungsphase

Was ist bei der Erstellung eines KI-, ML- und Big Data Prozesses zu beachten? Wir klären auf.

Im Artikel [Regeln im Umgang mit ML/KI - Prinzipien der BaFin - Teil 1] ging es um drei Prinzipien(-Abschnitte), welche die Bafin und Buba als Resultat mehrerer Studien, Anwendungen und Projekte abgeleitet hat um minimale Anforderungen und Erwartungen im Umgang mit der BDAI-Technologie (Big Data Artificial Intelligence) auf die Beine zu stellen. Hier soll es um das zweite Prinzip gehen, die “spezifischen Prinzipien der Entwicklungsphase”.

Zusammengefasst sind die folgenden sechs Punkte relevant für die Entwicklungsphase:

• Datenstrategie und Governance: Die Datenqualität und Quantität muss ausreichend sein,

• Datenschutzregeln: Konformität bei verwendeten Daten, insbesondere Offenlegungspflichten,

• Mindestmaß an unternehmensinterner & externer Nachvollziehbarkeit und Überprüfbarkeit erfordert korrekte, robuste und reproduzierbare Ergebnisse - bei späterer Überprüfung durch einen unabhängigen Dritten sollte der Anwender in der Lage sein, die Ergebnisse zu reproduzieren,

• Dokumentation zur internen und externen Nachvollziehbarkeit des Modells → Überprüfbarkeit vom Unternehmen selbst und von Abschlussprüfern sowie der Aufsicht:

  1. Modellwahl und statistische Erwägungen zur Modellgüte dokumentieren

     1. Grundsätzliche Eignung für konkrete Anwendung des Modells,

     2. Statistische Erwägungen zur Modellgüte,

     3. Modellkomplexität und Interpretierbarkeit/Überprüfbarkeit betrachten - Verbesserung der Prognosegüte gegen damit potenziell einhergehende Modellkomplexität abwägen - Entscheidung für komplexes Modell ist zu begründen.

  2. Kalibrierung und das Training des Modells dokumentieren & begründen - etwa Wahl sog. Tuning-Parameter,

  3. Modellvalidierung

  Es gibt keine klare Trennbarkeit obiger Schritte. Hintergrund: Die Modellgüte kann mitunter erst nach Erstkalibrierung und Validierung bestimmt werden. Zudem ist eine Modellauswahl erst über den Vergleich verschiedener Modelle möglich,

• Angemessene Validierungsprozesse: Periodizität der Validierung, Bias vermeiden, Faktoren benennen die zu Neu-Kalibrierung und Auswahl alternativer Algorithmen führen können. Faktoren: Systematische Veränderung des Inputs, externe makroökonomische Schocks, Veränderung rechtl. Voraussetzungen unter denen der Algorithmus betrieben wird, Feedback aus Outputphase (Freigabe und Feedbackloops),

• Kalibrierung und Validierung ist abhängig vom Risikogehalt der Entscheidung: In sehr risikosensitiven Entscheidungsprozessen sollten die hierfür verwendeten Daten gespeichert und vorgehalten werden. In weniger risikosensitiven Entscheidungsprozessen sollten mindestens der Auswahlprozess und die Zusammensetzung dokumentiert werden. Es sollte auf jeden Fall sichergestellt werden, dass eine nachträgliche Nachvollziehbarkeit zur internen Kontrolle, Qualitätssicherung und Revision noch möglich sind, solange der Algorithmus im Einsatz ist.

Im letzten Teil widme ich mich dem III. und letzten Punkt “Spezifische Prinzipien für die Anwendung”. Wenn Sie diesen letzten Punkt berücksichtigen, steht Ihrem erfolgreichen BDAI-begleiteten Prozess nichts im Weg.

Quelle: Prinzipienpapier “Big Data und künstliche Intelligenz: Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen” der BaFin vom 15.06.2021