Détecter la dérive des modèles en production avant qu'elle ne détruise vos KPIs

Deux types de dérive

1. Dérive des données : la distribution des features d'entrée change (P(X) se décale)
2. Dérive du concept : la relation entre features et cible change (P(Y|X) se décale)

La dérive des données est plus facile à détecter. La dérive du concept nécessite des données étiquetées.

Détection avec Evidently AI

from evidently.test_suite import TestSuite
from evidently.tests import TestColumnDrift

test_suite = TestSuite(tests=[
    TestColumnDrift(column_name='TransactionAmt'),
    TestColumnDrift(column_name='card1'),
])
test_suite.run(reference_data=ref_df, current_data=cur_df)

Tests statistiques

• Test KS : features continues
• Khi-deux : features catégorielles
• PSI (Population Stability Index) : les deux — PSI > 0.2 = dérive critique

Stratégie d'alerte

• PSI > 0.1 : avertissement (surveiller de près)
• PSI > 0.2 : alerte (planifier un réentraînement)
• Chute d'AUC > 3 % : réentraînement d'urgence