اكتشاف انجراف النموذج في الإنتاج قبل أن يدمر مؤشرات الأداء

نوعان من الانجراف

1. انجراف البيانات: تتغيّر توزيعة ميزات الإدخال (يتحرّك P(X))
2. انجراف المفهوم: تتغيّر العلاقة بين الميزات والهدف (يتحرّك P(Y|X))

انجراف البيانات أسهل في الكشف. أما انجراف المفهوم فيتطلب بيانات موسومة.

الكشف باستخدام Evidently AI

from evidently.test_suite import TestSuite
from evidently.tests import TestColumnDrift

test_suite = TestSuite(tests=[
    TestColumnDrift(column_name='TransactionAmt'),
    TestColumnDrift(column_name='card1'),
])
test_suite.run(reference_data=ref_df, current_data=cur_df)

الاختبارات الإحصائية

• اختبار KS: للميزات المستمرة
• مربع كاي: للميزات الفئوية
• PSI (مؤشر استقرار المجتمع): لكليهما — PSI > 0.2 = انجراف حرج

استراتيجية التنبيه

• PSI > 0.1: تحذير (راقب عن كثب)
• PSI > 0.2: تنبيه (جدوِل إعادة التدريب)
• انخفاض AUC > 3%: إعادة تدريب طارئة