Overfitting

Overfitting (przeuczenie) to zjawisko w uczeniu maszynowym i modelowaniu statystycznym, w którym model zbyt dokładnie dopasowuje się do danych treningowych, „ucząc się” także przypadkowego szumu i wyjątków, przez co gorzej uogólnia na nowe, niewidziane dane. W praktyce oznacza to wysoką trafność na próbie uczącej, ale wyraźnie słabsze wyniki na danych testowych lub w realnym zastosowaniu.

Overfitting pojawia się, gdy model ma zbyt dużą elastyczność względem ilości i jakości danych (np. zbyt wiele parametrów, zbyt złożona struktura, zbyt długie uczenie), a jednocześnie brakuje mechanizmów ograniczających dopasowanie do przypadkowych fluktuacji. Intuicyjnie: model nie „odkrywa” stabilnych zależności, tylko zapamiętuje szczegóły konkretnej próby. W ekonomii i finansach może to prowadzić do pozornie świetnych wyników historycznych (backtest), które nie powtarzają się w przyszłości, ponieważ model wykorzystał przypadkowe korelacje lub jednorazowe zdarzenia.

Klasycznym sygnałem overfittingu jest rozjazd między błędem na zbiorze treningowym a błędem na zbiorze walidacyjnym/testowym: treningowy spada, a walidacyjny przestaje się poprawiać lub rośnie. Przykład: model prognozujący popyt, który idealnie „wyjaśnia” wahania sprzedaży w przeszłości, ale po wdrożeniu myli się przy nowych promocjach, zmianach cen lub sezonowości innej niż w danych historycznych. W finansach analogicznie: strategia inwestycyjna może wyglądać imponująco na danych z lat 2010–2020, lecz zawodzi w latach 2021–2024, bo dopasowała się do specyficznych warunków (np. niskich stóp procentowych) i przypadkowych wzorców.

Overfitting jest ściśle powiązany z kompromisem bias–variance (obciążenie–wariancja). Modele zbyt proste mają zwykle wysoki bias (niedopasowanie, underfitting), a modele zbyt złożone — wysoką wariancję, czyli dużą wrażliwość na zmiany w danych. Przeuczenie jest w dużej mierze problemem wariancji: niewielka zmiana próby danych może prowadzić do istotnie innych parametrów i prognoz. Dlatego w praktyce stosuje się walidację (np. podział na zbiory trening/valid/test, walidację krzyżową), regularizację (np. L1/L2), ograniczanie złożoności (np. przycinanie drzew decyzyjnych), wczesne zatrzymanie uczenia (early stopping) oraz ostrożne projektowanie cech (feature engineering). W szeregach czasowych (typowych dla makroekonomii i rynków) szczególnie ważne jest zachowanie porządku czasu, aby uniknąć „przecieku informacji” z przyszłości, który może udawać świetne dopasowanie, a w rzeczywistości jest artefaktem metodologicznym.

  • Kluczowe właściwości
  • Wysoka skuteczność na danych treningowych, niska na nowych danych: model „zna” przeszłość, ale nie potrafi przewidywać przyszłości lub innych próbek z tej samej populacji.
  • Nadmierna złożoność względem danych: zbyt wiele parametrów, zbyt głębokie drzewa, zbyt rozbudowana sieć neuronowa lub zbyt wiele zmiennych objaśniających w regresji przy ograniczonej liczbie obserwacji.
  • Wrażliwość na szum i obserwacje odstające: model dopasowuje się do nietypowych punktów (outliers) lub jednorazowych zdarzeń (np. lockdown, szok podażowy), traktując je jak regułę.
  • Rozjazd metryk trening–walidacja: typowo malejący błąd treningowy przy stagnacji lub pogorszeniu błędu walidacyjnego; w klasyfikacji może to być rosnąca różnica między accuracy/ROC-AUC na treningu i teście.
  • Pozorna „odkrywczość” zależności: model może wskazywać silne relacje, które nie mają stabilnego charakteru (np. korelacje przypadkowe), co bywa mylące w interpretacji ekonomicznej.
  • Typowe konteksty
  • Finanse ilościowe i backtesting: dobór reguł strategii (np. progi, okna średnich kroczących, filtry) na podstawie historycznych danych może prowadzić do dopasowania do konkretnego okresu; przykład: strategia oparta na wielu wskaźnikach technicznych „działa” w backteście, ale traci po zmianie reżimu zmienności.
  • Modele ryzyka i scoring kredytowy: zbyt rozbudowany model może „nauczyć się” specyfiki jednej kohorty klientów lub jednego cyklu koniunkturalnego; skutkuje to pogorszeniem jakości predykcji PD/LGD w innym okresie.
  • Prognozowanie makroekonomiczne i popytu: przy wielu zmiennych (inflacja, stopy, kurs, nastroje, ceny energii) i krótkich szeregach czasowych łatwo o dopasowanie do przypadkowych współruchów; przykład: model przewiduje inflację świetnie w próbie, bo „wykorzystał” jednorazowy skok cen energii.
  • Marketing i analityka biznesowa: modele atrybucji lub predykcji churn mogą przeuczyć się na kampaniach z konkretnego kwartału, jeśli nie uwzględnią zmian w ofercie, cenach czy kanałach.
  • Uczenie głębokie i modele o dużej liczbie parametrów: duże sieci neuronowe są szczególnie podatne na przeuczenie przy małych zbiorach danych lub przy nieprawidłowej walidacji.
  • Częste nieporozumienia
  • „Im wyższa trafność na treningu, tym lepszy model”: wysoki wynik na treningu może oznaczać jedynie zapamiętanie danych; liczy się uogólnianie, czyli wynik na danych spoza treningu.
  • „Overfitting dotyczy tylko skomplikowanych algorytmów”: przeuczyć się może także prosta regresja, jeśli ma zbyt wiele zmiennych względem liczby obserwacji, jeśli wykonuje się intensywną selekcję cech na tej samej próbie lub jeśli występuje przeciek informacji.
  • „Więcej danych zawsze rozwiązuje problem”: większy zbiór często pomaga, ale nie eliminuje przeuczenia, jeśli dane są niereprezentatywne, zawierają błędy, zmienia się proces generujący dane (zmiana reżimu) albo walidacja jest błędnie zaprojektowana.
  • „Dobre dopasowanie historyczne potwierdza stabilną zależność ekonomiczną”: korelacja w próbie nie musi oznaczać związku przyczynowego ani trwałej relacji; w finansach i makroekonomii zależności mogą zanikać po zmianie polityki pieniężnej, regulacji lub struktury rynku.
  • „Wystarczy jeden podział trening/test”: pojedynczy podział może dać przypadkowo optymistyczny lub pesymistyczny wynik; często potrzebna jest walidacja krzyżowa (dla danych niezależnych) lub walidacja krocząca/okienkowa (dla szeregów czasowych), aby rzetelnie ocenić uogólnianie.