Challenger vs. Champion: Wie KI-Modelle klassische Verfahren herausfordern

3 Implementierung des Validierungs­prozesses

3.1 Erweiterter Validierungs­prozess

Die Validierung von Risikomodellen gehört zu den zentralen Aufgaben des Risiko­managements in Banken. Während klassische Validierungs­verfahren – insbesondere bei linearen Modellen wie der logistischen Regression – weitgehend standardisiert und etabliert sind, stellt die zunehmende Integration komplexerer Modelle, etwa auf Basis von KI, neue Anforderungen an Aufbau, Ablauf und Tiefe des Validierungs­prozesses

Vor diesem Hintergrund schlagen wir einen erweiterten Validierungs­prozess vor, der sich an den klassischen Prüfstrukturen orientiert, diese jedoch um wesentliche Komponenten ergänzt. Der Prozess umfasst drei zentrale Erweiterungen: 

Einbindung von Challenger-Modellen mit KI‑Methodik: 
Zur Prüfung der Leistungs­fähigkeit bestehender Produktiv­modelle werden alternative Modell­ansätze auf Basis moderner Machine-Learning-Methoden, etwa XGBoost, herangezogen. Ziel ist es, durch systema­tischen Vergleich Hinweise auf potenzielle Verbesserungen der Trennschärfe, Kalibrierung oder Robustheit zu erhalten. Darüber hinaus bietet der Einsatz nicht linearer Modelle die Möglichkeit, versteckte Interaktionen zwischen Risiko­faktoren zu identifizieren. 

Multi‑Model‑Management: 
In komplexeren Modell­landschaften ist es nicht mehr ausreichend, einzelne Modelle isoliert zu bewerten. Stattdessen bedarf es eines strukturierten Frameworks zur simultanen Bewertung mehrerer Modelle, Modell­varianten und Datenschnitte. Dieses Framework erlaubt: 

• die Orchestrierung verschiedener Modell­läufe,
• die Aggregation und Speicherung zentraler Kennzahlen (z. B. AUC/Gini, Brier-Score) in mehr­dimensionalen Daten­strukturen (z. B. Data Cubes)
• und die Durchführung standardisierter Vergleichs- und Signifikanztests zur objektiven Entscheidungs­unterstützung.

Automatisierung und Modularisierung der Analyse­prozesse: 
Die zunehmende Komplexität der Modell­landschaft und die steigenden regulatorischen Anforderungen verlangen nach einem hohen Maß an Prozess­automatisierung. Ziel ist es, Validierungs­schritte nicht nur reproduzierbar, sondern auch skalierbar und transparent zu gestalten. Die modulare Architektur der Analyse­komponenten – insbesondere im Bereich der Kreuzvalidierung, Modellvergleiche und Erklär­barkeits­analysen – erlaubt die einfache Erweiterung auf zusätzliche Modelle oder Datenquellen. 

Die Kombination dieser drei Erweiterungen bildet das Fundament eines modernen, vali­dierungsfähigen Risikomodell‑Frameworks im Zeitalter der datengetriebenen Entscheidungs­findung. Durch die Anwendung dieses Frameworks im Rahmen der nachfolgenden Fallstudie wird exemplarisch gezeigt, wie sich das vorgeschlagene Validierungs­konzept in der praktischen Modellbewertung einsetzen lässt – mit Fokus auf Erklärbarkeit, Modellvergleich und quantitativer Aussagekraft. 

3.2 Aufteilung in Trainings- und Testdaten (Kreuzvalidierung)

Ein zentrales Element jeder belastbaren Modell­validierung ist die konsequente Trennung von Trainings- und Testdaten. Nur durch eine klare Abgrenzung zwischen Modell­kalibrierung und Evaluation lassen sich Aussagen zur  generalisierten Leistungs­fähigkeit eines Modells treffen. Dies gilt in besonderem Maße für moderne KI‑Modelle, deren Flexibilität gleichzeitig eine erhöhte Gefahr des Overfittings mit sich bringt. 

In der Praxis hat sich für solche Validierungs­vorhaben die  k-Fold‑Kreuzvalidierung  als Standard­verfahren etabliert. Dabei wird der vollständige Datensatz in  k  gleich große Teilmengen (sog. Folds) unterteilt. In jedem der  k‑Validierungsläufe werden k‑1‑Folds zum Modelltraining verwendet, während der verbleibende Fold für die Modellprüfung (Out-of-Sample-Evaluation) dient. Durch zyklisches Rotieren der Test-Folds wird sichergestellt, dass jede Beobachtung genau einmal im Testset enthalten ist.

4 Modellergebnisse im Vergleich

Nach der methodischen Herleitung und Definition des Validierungs­rahmens folgt nun die empirische Anwendung. Ziel ist es, anhand eines realitäts­nahen Datensatzes die Leis­tungs­fähigkeit zweier Modell­ansätze – einer klassischen logistischen Regression (Modell A) und eines modernen XGBoost-Modells (Modell B) – vergleichend zu analysieren. Dabei steht nicht nur die reine Vorhersagegüte im Vordergrund, sondern auch die Frage, inwiefern komplexere Modelle zusätzliche Informationen liefern und wie diese erklärbar gemacht werden können. 

Die Zielvariable BAD kodiert den Ausfallstatus binär (1 = ausgefallen, 0 = nicht ausgefallen) und stellt damit die abhängige Variable für die Modellschätzung dar. 

Vorverarbeitung und Merkmals­selektion:

• Fehlende Werte wurden durch Mittelwert­imputation ersetzt.
• Alle numerischen Merkmale wurden standard­normalisiert (Z-Transformation), um numerische Stabilität bei der Modellschätzung sicherzustellen.
• Die stark korrelierten Merkmale MORTDUE und VALUE wurden auf eines reduziert; kategorische Merkmale wie JOB und REASON wurden zur Komplexitäts­reduktion nicht berücksichtigt.

Diese Selektion bildet die Grundlage für die nachfolgende Kalibrierung und Validierung beider Modelle. 

4.2 Ergebnisse des Logit-Modells (Modell A)

Das erste Modell basiert auf einer logistischen Regression, einem etablierten Verfahren zur Modellierung binärer Zielgrößen. Ziel ist die Schätzung der bedingten Wahrscheinlichkeit eines Kredit­ereignisses (Ausfall/Nichtausfall) in Abhängigkeit von den Eingangs­kriterien. 

Das Modell wurde zunächst mit dem vollständigen Datensatz kalibriert (In‑Sample), um eine erste Einschätzung der Modell­struktur und der Koeffizienten­stabilität zu erhalten. Die Regressions­koeffizienten bestätigen die statistische Signifikanz nahezu aller Merkmale 
(p-Wert ≈ 0,0), mit Ausnahme von YOJ (p-Wert = 0,23). 

Signifikanz und Richtung der Effekte 

Positiv wirkende Merkmale sind VALUE, DEROG, DELINQ, NINQ, DEBTINC. Negativ wirkende Merkmale sind LOAN, CLAGE, CLNO, YOJ, const. Die Konstante (const) des Modells beträgt -1,66, was einer geschätzten Basis-Ausfall­wahrscheinlichkeit von etwa 15,93 % entspricht – in realistischer Nähe zur beobachteten Ausfallrate von 19,95 %. 

Die zentralen Modellmetriken lauten: 

Im Anschluss wurde eine  fünffache Kreuz­validierung durchgeführt. Das Modell wurde dabei fünfmal neu trainiert und auf jeweils disjunkte Testdaten angewandt (Out-of-Sample-Prognose). Die Verteilung der Scores zeigt eine zufriedenstellende Trennung der Klassen, allerdings mit systematischen Schwächen in der Erkennung tatsächlicher Ausfälle: 

4.3 Ergebnisse des XGBoost-Modells (Modell B)

Das zweite Modell basiert auf dem XGBoost-Algorithmus, einem gradienten­basierten Ensemble‑Verfahren, das in zahlreichen Benchmark-Studien eine hohe Vorhersage­qualität zeigt. Das Modell wurde als binärer Klassifikator konfiguriert mit logistischer Verlustfunktion und logarithmischem Loss als Bewertungs­metrik. 

Im Gegensatz zur logistischen Regression basiert XGBoost nicht auf Regressions­koeffizienten, sondern auf der sequenziellen Optimierung von Entscheidungs­bäumen. Eine erste Ein­schätzung der Feature-Wichtigkeit erfolgt daher über die Häufigkeit der Merkmals­nutzung (Feature Importance). 

Die anschließende fünffache Kreuz­validierung bestätigt die außerordentliche Modellgüte auch in der Out‑of‑Sample‑Bewertung. Die Verteilung der Scores zeigt eine deutlich klarere Trennung der Ausfall­klassen: 

Da die Default-Verteilung in der Abbildung oben aus Skalierungs­gründen kaum zu erkennen ist, wird sie in der nächsten Abbildung nochmals separat dargestellt: 

Nicht ausgefallene Kredite weisen eine starke Konzentration im Bereich niedriger Scores (nahe null) auf. Ausgefallene Kredite häufen sich erwartungs­konform im Bereich höherer Scores (ab ca. 0,8) – mit deutlich geringerer Streuung im mittleren Segment. Nichts­desto­weniger beobachten wir auch hier ein scheinbar gleich­verteiltes Grundrauschen von Ausfällen über den gesamten Score‑Bereich, wenn auch deutlich geringer als beim Logit‑Ansatz. Wünschens­wert wäre ein monotones Ansteigen der Ausfälle. Ein möglicher Hinweis auf Modell­lücken!  

Fazit: 

Das XGBoost‑Modell zeigt sowohl hinsichtlich Trennschärfe als auch Kalibrierung eine signifikant überlegene Leistungs­fähigkeit gegenüber dem Logit‑Modell. Dennoch bleibt eine kritische Auseinandersetzung mit möglichen Overfitting-Tendenzen geboten, insbesondere vor dem Hintergrund hoher Modell­komplexität und regulatorischer Erklärbarkeits­anforderungen. 

4.4 Vergleich der Model Scores mittels Streu­diagramm

Ein zentrales Ziel der Validierung ist nicht nur die isolierte Bewertung einzelner Modelle, sondern insbesondere deren direkter Vergleich im Verhalten gegenüber identischen Kredit­ereignissen. Zur Visualisierung der Score‑Differenzen beider Modelle wird ein zwei­dimen­sionaler Scatterplot herangezogen, in dem die Score-Werte des Logit‑Modells gegen jene des XGBoost‑Modells aufgetragen werden. Jeder Punkt im Plot repräsentiert ein Kreditereignis, farblich differenziert nach Ausfallstatus.

Erste Erkenntnisse 

Eine signifikante Anzahl tatsächlicher Ausfälle befindet sich im linken oberen Quadranten – diese Kredite wurden vom Logit‑Modell zu optimistisch, vom XGBoost‑Modell korrekt als kritisch eingeschätzt. 

Die Mehrzahl gesunder Kredite konzentriert sich im linken unteren Quadranten – ein Indikator für hohe Überein­stimmung in der Einschätzung geringer Risiken. 

Diese Visualisierung liefert wertvolle Hinweise auf die differenzierte Modelllogik der beiden Ansätze und legt den Grundstein für eine quantitative Bewertung der Fehler­einschätzungen, wie sie im folgenden Abschnitt erfolgt. 

4.5 Quantifizierung der Modellunterschiede über Fehlerquadrate

Zur objektiven Beurteilung, welches Modell die realisierten Ausfall­wahrscheinlich­keiten besser approximiert, greifen wir erneut auf die Ansatzlogik des Brier-Scores zurück. Für jede Beo­bachtung i  wird der quadratische Fehler zwischen der vorhergesagten Wahrscheinlichkeit  und dem tatsächlichen Ausfallstatusberechnet: 

Ein positiver Wertbedeutet, dass Modell B (XGBoost) eine geringere Abweichung vom tatsächlichen Ausfallstatus aufweist – also die bessere Vorhersage liefert. 

Ergebnisse 

Für nicht ausgefallene Kredite liegen die mittleren Differenzen nahe null (Mittelwert ≈ 0,01), was auf vergleichbare Vorhersage­güte hindeutet. 

Für ausgefallene Kredite ergibt sich ein deutlich positiver Mittelwert der Differenzen (≈ 0,24), was die Überlegenheit von XGBoost bei der korrekten Identifikation von Defaults bestätigt. 

Eine ergänzende Darstellung in Form von Verteilungs­plots visualisiert die Differenzen der Fehler­quadrate getrennt nach Ausfallstatus und macht sichtbar, dass der größte Teil der Modell­abweichung durch falsch eingeschätzte Ausfälle im Logit-Modell verursacht wird. 

Darauf aufbauend haben wir die aggregierten Modell­fehler pro Gruppe (Modell x Ausfallstatus) analysiert und im Kontext des gesamten Brier-Scores interpretiert. Dadurch wird sichtbar, in welchem Maße Ausfälle und Nichtausfälle jeweils zum Gesamtfehler beitragen. So lassen sich Unterschiede in der Modellgüte differenzierter bewerten – insbesondere, ob ein Modell eher im Bereich der „False Negatives“ (nicht erkannte Defaults) oder der „False Positives“ (fälschlich als riskant eingestufte Non-Defaults) Schwächen zeigt.  

Die Resultate werden in der folgenden Abbildung als Wasserfalldiagramm zusammengefasst: 

4.6 Vergleich der kumulativen Verlustverteilung

Neben der Bewertung statistischer Gütekriterien ist es aus Sicht des Risikomanagements essenziell, auch die ökonomische Relevanz von Modell­unterschieden zu quantifizieren. Während Trennschärfe und Kalibrierung Hinweise auf die technische Leistungs­fähigkeit eines Modells geben, stellt sich in der Praxis stets die Frage: Welchen Einfluss hat die Wahl eines bestimmten Modells auf tatsächliche Verluste? 

Zur Beantwortung dieser Frage analysieren wir die kumulative Verlust­verteilung beider Modelle. Im Zentrum steht dabei die Fragestellung: Wie viele tatsächliche Ausfälle hätte ein Modell übersehen, wenn man die Kredit­ereignisse mit den höchsten prognostizierten Ausfall­wahrscheinlichkeiten abgelehnt hätte? 

Methodisches Vorgehen 

Die Kredit­ereignisse werden nach ihrem Score‑Wert (geschätzte Ausfall­wahrscheinlichkeit) sortiert – getrennt für jedes Modell. Für einen gegebenen Schwellenwert  𝜏 wird bestimmt, wie viele tatsächliche Ausfälle sich unterhalb dieses Schwellenwerts befinden. Die kumulierten Anteile der erfassten Defaults werden über alle Schwellenwerte hinweg aufgetragen. Das Ergebnis ist eine kumulative Verteilungs­funktion der tatsächlichen Verluste als Funktion der Score‑Schwelle.

Ergebnisse der Analyse 

Das Logit‑Modell weist bereits bei niedrigen Score-Schwellen (z. B. 0,2) eine signifikante Anzahl von Ausfällen auf – ein Hinweis auf eingeschränkte Trennschärfe. 

Das XGBoost‑Modell hingegen verschiebt die Mehrheit der Ausfälle in höhere Score‑Bereiche – ein erwünschtes Verhalten, da es eine effektivere Selektion von Hochrisiko­fällen erlaubt. 

Der  Vorsprung von XGBoost in der Identifikation von Defaults ist bis auf einen kleinen Bereich nahe null über alle Score‑Schwellen hinweg konsistent und visuell klar erkennbar. 

Praktische Relevanz 

Diese Analyse erlaubt nicht nur eine Bewertung der Modell­qualität im Sinne klassischer Backtesting-Logiken, sondern bietet auch eine Ableitung von Score‑Schwellen, die zur Steu­erung der Kreditvergabe verwendet werden könnten. Modelle mit besserer Verlust­trennung weisen somit nicht nur eine höhere Vorhersagekraft auf, sondern auch einen höheren ökonomischen Nutzen durch gezieltere Risiko­allokation.

5.1 Grundlagen und Darstellung

Formal lässt sich jede Modellvorhersage f(x) durch die SHAP-Dekomposition darstellen als:

Dabei ist:

: der Basiswert (Durchschnitt der Modell­vorhersagen),

: der SHAP-Wert des Merkmals x_i, d. h. dessen individueller Beitrag­ zur Abweichung vom Mittelwert.

5.2 Vergleich Logit vs. XGBoost anhand individueller Vorhersagen

Die Stärke der SHAP-Analyse zeigt sich insbesondere im Vergleich zweier Modell­entschei­dungen bei einer identischen Beobachtung. Anhand ausgewählter Fälle lässt sich die Unterschiedlichkeit der internen Modell­logiken präzise aufzeigen. 

Die folgenden zwei Abbildungen zeigen beispielhaft die SHAP-Werte der beiden Modelle in Form eines Wasserfall­diagramms für einen ausgefallenen Kredit mit den Merkmalen x aus dem oberen linken Quadranten im Scatterplot (Abbildung 7).¹⁶

Beobachtungen aus den SHAP-Wasserfalldiagrammen 

Logit‑Modell: Die Wirkung der Merkmale ist – wie zu erwarten war – proportional und stabil bei der Richtung der Vorzeichen der Regressions­koeffizienten. 

XGBoost-Modell: SHAP zeigt teils gegenläufige Effekte gegenüber dem Logit‑Modell (z. B. bei VALUE oder CLAGE), was auf eine unterschiedliche Modell­regularisierung hindeutet.

5.3 Nicht lineare Strukturen in SHAP-Scatterplots

Besonders deutlich wird die höhere Modell­komplexität von XGBoost in den SHAP‑Scatterplots einzelner Merkmale: 

Beim Merkmal LOAN zeigt das Logit‑Modell eine erwartungs­gemäß lineare SHAP‑Beziehung – in diesem Fall heißt das, niedrige beantragte Kredit­summen führen zu einem höheren Risiko (bzw. negativen Beitrag zum Score). 

XGBoost hingegen zeigt eine mehrwertige Relation, bei der identische Kredit­summen zu unterschiedlichen SHAP‑Werten führen – ein möglicher Hinweis auf interaktive Effekte mit anderen Merkmalen. 

Diese Muster sind nicht über einfache Korrelationen erklärbar – die SHAP-Werte liefern somit genuine Einsichten in die Entscheidungs­logik des Modells, jenseits einfacher Regressions­beziehungen. 

5.4 Vergleich der Richtungen der Modelleffekte

In dieser Analyse visualisieren wir die SHAP‑Werte des Logit‑Modells für ausgewählte Merkmale und färben sie entsprechend der SHAP‑Werte des XGBoost-Modells. Es gilt: 

Rot: Hohe SHAP‑Werte im XGBoost‑Modell. 

Blau: Niedrige SHAP‑Werte im XGBoost‑Modell. 

Der Fokus liegt auf den Ausfall­datensätzen des ersten Folds der Kreuz­validierung aus dem oberen linken Quadranten des Streu­diagramms in Abbildung 7, wo das Logit‑Modell die Ausfälle im Gegensatz zum XGBoost‑Modell unterschätzt.  

Abbildung 14 zeigt deutlich, dass die Modelle bei den Merkmalen LOAN, YOJ, CLAGE und CLNO entgegen­gesetzte SHAP‑Werte aufweisen.  

Während das Logit‑Modell bei steigenden Merkmals­werten einen negativen Verlauf der SHAP‑Werte zeigt, weist das XGBoost‑Modell einen positiven auf. Die Unterschiede deuten darauf hin, dass die Modelle die Bedeutung dieser Merkmale unterschiedlich interpretieren, was zu divergierenden Vorhersagen führt. Ein tieferes Verständnis dieser Abweichungen kann dazu beitragen, die jeweiligen Modell­annahmen zu hinterfragen und die Prognose­genauigkeit zu verbessern. 

Im Gegensatz dazu zeigt Abbildung 15, dass die Modelle bei den Merkmalen VALUE, DEROG, DELINQ, NINQ und DEBTINC gleichlaufende SHAP-Werteeffekte aufweisen.  

Dort, wo das Logit‑Modell bei steigenden Merkmals­werten einen positiven Verlauf der SHAP-Werte zeigt, weist auch das XGBoost‑Modell einen positiven auf.