W przypadku, gdy model uczony jest na „obecnie aktualnych” danych, np. rozpoznawanie spamu, wykrywanie przestępstw finansowych, rozpoznawanie modeli samochodów może okazać się, że model ten będzie działać coraz gorzej z czasem, ponieważ struktura spamu, sposoby przestępstw czy wyglądy samochodów mogą drastycznie się zmienić przez co nasz model może przestać być użyteczny.
W skrócie jest to kwestia pogorszenia dokładności predykcji w czasie pod wpływem zmiany danych.
Istotne jest odpowiednie wczesne wykrywanie pogorszenia predykcji, ich powodu, zanim stanie się to poważnym problemem.
Concept Drift – Zmiana P(X|Y) zachowań, natomiast zmieniają się relacje, nie dane wejściowe. Zmiana kryteriów przyznania kredytów, np. przez podwyższenie stóp procentowych lub rekomendacji KNF, wymagane są teraz wyższe dochody lub z konkretnych źródeł np. UoP.
Data Drift możemy podzielić na:
Label Drift:
P(Y) zmienia się, czyli wynik naszego modelu. Np. zwiększenie się liczb zapytań kredytowych bez znaczących zmian makroekonomicznych.
Feature Drift:
P(X) zmienia się, czyli dane, na podstawie których wykonywana jest predykcja np. inny target klienta składa wnioski o pożyczkę. (np. BK2 – bardzo młodzi ludzie).
Virtual Drift:
Sytuacja, w której zmieniły się dane wejściowe, natomiast nie pogorszyło to predykcji, natomiast powinniśmy być w stanie to wykryć, aby móc odpowiednio wcześnie zareagować.