ML & Modellvalidierung [Teil 2]: Cross Validation
Allgemein stellen Validierungsmethoden sicher, dass ML-Modelle möglichst fehlerfrei funktionieren, insbesondere wenn sie in Anwendungsfeldern wie z.B. Finance oder Risk zum Einsatz kommen.
Der Train-Test Split teilt den historischen Datensatz in Trainings- und Testdaten auf. Die damit erzeugten Testdaten werden dazu verwendet, um Fehlermetriken zu berechnen, die simulieren, wie gut das ML-Modell im Anwendungsfeld funktionieren würde. Denn während des Einsatzes bekommt das ML-Modell komplett neue Daten, die nicht aus dem historischen Trainingsdaten stammen. Da der Train-Test Split zufällig auf dem historischen Datensatz durchgeführt wird, kann es sein, dass es zu einer ungünstigen Verteilung von Lernbeispielen über den Test- und Trainingssatz kommt.
Um robustere Fehlerwerte und höhere Sicherheit eines ML-Modells zu erreichen, wird der Train-Test Split deshalb oft durch die Cross Validation erweitert. Das entspricht der Wiederholung des Train-Test-Split Prozesses, wobei darauf geachtet wird, dass keine (Kombination an) Testdaten mehrfach verwendet werden. Die Anzahl der Wiederholungen hat den Wert K, weswegen es auch oft K-fold Cross Validation genannt wird. Dadurch kann also sichergestellt werden, dass ein ML-Modell nicht zufälligerweise ausgeschlossen oder ausgewählt wird, nur weil ein einzelner Train-Test Split schlecht verteilt war.
Eine schlechte Performance auf mehreren Testsätzen hilft demnach ein ML-Modell mit hoher Sicherheit vom Einsatz in der Produktion auszuschließen. Eine gute Performance auf mehreren Testsätzen wiederum zeigt, dass das ML-Modell eine robuste Performance erbringt und sich gut für das vorliegende Anwendungsfeld eignet. Die Fähigkeit eines ML-Modells die allgemeinen Merkmale eines Datensatzes zu erlernen und im Anwendungsfeld bei neuen Daten wiederzuerkennen wird auch Verallgemeinerungsfähigkeit (Eng. generalization ability) genannt.
Der fehlerfreie Einsatz von ML-Modellen in Risk- & Finance kann also durch Validierungsmethoden wie Train-Test Split und Cross Validation gewährleistet werden.