Üretimde Model Bozulması: Veri Kayması (Drift) Nasıl İzlenir

Üretimdeki modellerin ölümü dramatik değildir: hata fırlatmaz, sunucu düşmez. Model sadece sessizce kötüleşir — çünkü dünya, eğitim verisinin çekildiği günkü dünya değildir artık. Buna veri kayması (data drift) denir ve izlenmeyen her modelde kaçınılmazdır.

Kaymanın üç türü

1. Girdi kayması: gelen verinin dağılımı değişir. Örnek: yeni bir müşteri segmenti geldi, fiyatlar enflasyonla kaydı, kamera açısı değişti.
2. Kavram kayması: girdi-çıktı ilişkisi değişir. Örnek: dolandırıcılar taktik değiştirdi; dünün “normal” deseni bugün şüpheli.
3. Etiket kayması: hedef değişkenin dağılımı değişir. Örnek: iade oranı sezonla ikiye katlandı.

Pratik izleme düzeneği

PSI (Population Stability Index) her özelliğin bugünkü dağılımını referans dönemle karşılaştırır. Alışılmış eşikler: 0,1 altı sakin, 0,1–0,25 izle, 0,25 üstü alarm. KS testi sürekli değişkenlerde dağılım farkını sınar. İkisini de her özellik için günlük hesaplar, panele koyarız.

Ama asıl sinyal çoğu zaman daha basittir:

• Tahmin dağılımı: model birden her şeye %90 güven veriyorsa bir şey bozulmuştur.
• Gecikmeli doğruluk: gerçek etiketler (iade, ödeme, onay) sisteme düştükçe geriye dönük doğruluk hesaplanır.
• İş metriği: stok devir hızı, yakalanan dolandırıcılık tutarı — modelin var oluş sebebi neyse o.

Alarm çaldığında ne olur?

Kayma tespiti tek başına değersizdir; tepki zinciri olmalıdır:

1. Alarm → nöbetçiye bildirim, panelde kök özellik listesi.
2. Etki analizi → kayan özellik önemli mi (özellik önem sırasıyla çapraz kontrol)?
3. Karar → yeniden eğitim tetikle / eşik ayarla / veri kaynağını düzelt.
4. Yeniden eğitim otomatik olabilir ama yayın otomatik olmamalı: yeni model önce gölge modda eskiyle yarışır, kazanırsa kademeli açılır.

Kültür notu

Drift izleme bir araç sorunu değil, sahiplik sorunudur. “Modeli kim izliyor?” sorusunun cevabı bir isim değilse, cevap “hiç kimse”dir. Biz her üretim teslimatına izleme panelini ve tepki zincirini dahil ediyoruz — ayrıntısı MLOps hizmet sayfamızda.