Jak ocenić model wykrywania anomalii finansowych: metryki i zasoby dla początkujących

Model, który klasyfikuje wszystkie transakcje jako normalne, osiąga 99% dokładności na typowym zbiorze finansowym. To powinno dać do myślenia.

Metryki warte uwagi

1. Precision i Recall zamiast Accuracy — Precision mówi, ile wykrytych anomalii to prawdziwe anomalie. Recall mówi, ile wszystkich anomalii model w ogóle znalazł. W praktyce finansowej wyższy Recall jest ważniejszy, bo przeoczenie oszustwa kosztuje więcej niż fałszywy alarm.
2. F1-Score — średnia harmoniczna Precision i Recall. Przydatna jako pojedyncza liczba do porównania dwóch modeli, ale nie zastępuje analizy obu składowych osobno.
3. AUC-ROC — pokazuje, jak dobrze model rozdziela klasy przy różnych progach decyzyjnych. Wartość powyżej 0,85 to dobry sygnał przy danych finansowych.
4. Average Precision (PR AUC) — dla silnie niezbalansowanych zbiorów lepiej oddaje rzeczywistą skuteczność niż AUC-ROC. Biblioteka scikit-learn oblicza ją jedną linią kodu.
5. Confusion Matrix — tabela czterech wartości: prawdziwe pozytywne, fałszywe pozytywne, prawdziwe negatywne, fałszywe negatywne. Podstawowe narzędzie do zrozumienia, gdzie model popełnia błędy.

Gdzie szukać dalej

Kurs Fraud Detection on Imbalanced Data na platformie DataCamp tłumaczy te metryki na konkretnych zbiorach. Dokumentacja scikit-learn zawiera sekcję poświęconą ocenie modeli z przykładami kodu dla każdej z wymienionych metryk.