Uczenie półnadzorowane

Uczenie półnadzorowane (semi-supervised learning) to podejście w uczeniu maszynowym, w którym model trenuje się jednocześnie na niewielkim zbiorze danych oznaczonych (z etykietami) oraz na znacznie większym zbiorze danych nieoznaczonych (bez etykiet). Celem jest uzyskanie jakości zbliżonej do uczenia nadzorowanego przy istotnie mniejszym koszcie ręcznego etykietowania.

W praktyce uczenie półnadzorowane wykorzystuje fakt, że dane nieoznaczone często zawierają dużo informacji o strukturze problemu: o tym, które obserwacje są do siebie podobne, jak układają się w grupy, jakie są typowe warianty i odstępstwa. Model „uczy się” tej struktury z danych nieoznaczonych, a dane oznaczone dostarczają sygnału, jak tę strukturę powiązać z interesującą nas etykietą (np. „spam/nie spam”, „zwrot/bez zwrotu”, „kategoria produktu”). Dzięki temu można poprawić uogólnianie modelu, zwłaszcza gdy etykiet jest mało, a dane wejściowe są złożone (tekst, obraz, zachowania użytkowników).

Typowy scenariusz biznesowy wygląda tak: organizacja ma dużo surowych danych (logi kliknięć, opisy produktów, zapytania w wyszukiwarce, zdjęcia), ale tylko część jest oznaczona, bo etykietowanie jest kosztowne, czasochłonne lub wymaga specjalistycznej wiedzy. Uczenie półnadzorowane pozwala „wycisnąć” wartość z danych nieoznaczonych, ograniczając konieczność ręcznej pracy. Przykładowo, sklep internetowy może mieć tysiące nowych produktów z opisami i zdjęciami, ale tylko część ma poprawnie przypisane kategorie; albo ma miliony sesji użytkowników, ale tylko niewielka część kończy się jednoznacznym zdarzeniem, które można traktować jako etykietę (np. potwierdzony fraud, reklamacja uznana/odrzucona).

Istnieje kilka rodzin metod półnadzorowanych, różniących się tym, jak wykorzystują dane nieoznaczone. Często spotyka się: pseudo-etykietowanie (model nadaje etykiety danym nieoznaczonym i uczy się dalej na „pewnych” predykcjach), regularizację spójności (wymuszanie, by model dawał podobne wyniki dla „zaburzonych” wersji tego samego przykładu, np. po augmentacji obrazu lub drobnej zmianie tekstu), oraz podejścia oparte o graf podobieństw (propagacja etykiet po sieci powiązań między obserwacjami). Niezależnie od techniki, kluczowe jest założenie, że podobne przykłady powinny mieć podobne etykiety, a granice decyzyjne modelu powinny przebiegać w obszarach o mniejszej gęstości danych (tzw. „low-density separation”).

W kontekście e-commerce i analityki produktowej uczenie półnadzorowane bywa użyteczne m.in. w klasyfikacji treści i zachowań, gdzie etykiety są niepełne lub opóźnione. Przykłady: (1) kategoryzacja produktów na podstawie tytułów, opisów i atrybutów, gdy tylko część asortymentu ma poprawne przypisania; (2) wykrywanie nadużyć (np. podejrzane konta lub transakcje), gdzie potwierdzone przypadki są rzadkie, a większość danych nie ma jednoznacznej etykiety; (3) moderacja treści w opiniach i pytaniach (wulgaryzmy, dane osobowe), gdzie ręczne oznaczanie wszystkich wpisów jest niepraktyczne; (4) przypisywanie intencji zapytań w wyszukiwarce sklepu, gdy tylko część zapytań ma etykietę (np. z ręcznej analizy lub z wysokiej pewności reguł). W każdym z tych przypadków dane nieoznaczone są „tłem”, które pomaga modelowi lepiej zrozumieć rozkład danych i stabilniej generalizować.

Uczenie półnadzorowane wymaga jednak ostrożności operacyjnej. Jeśli model generuje pseudo-etykiety, może wzmacniać własne błędy (tzw. „confirmation bias”), szczególnie gdy początkowy model jest słaby lub dane są niezrównoważone (np. bardzo mało przykładów klasy pozytywnej). W praktyce stosuje się progi pewności, ważenie przykładów, walidację na niezależnym zbiorze oraz monitorowanie driftu danych. Ważne jest też rozróżnienie między „brakiem etykiety” a „etykietą negatywną”: brak informacji, czy transakcja była fraudem, nie oznacza, że na pewno nim nie była. To rozróżnienie wpływa na dobór metody i interpretację wyników.

Uczenie półnadzorowane lokuje się pomiędzy uczeniem nadzorowanym (wszystkie dane mają etykiety) a nienadzorowanym (brak etykiet). W odróżnieniu od czysto nienadzorowanych metod (np. klasteryzacji), tutaj celem jest predykcja konkretnej etykiety biznesowej. W odróżnieniu od uczenia nadzorowanego, nacisk kładzie się na wykorzystanie dużej puli danych bez etykiet, co często jest realistyczniejsze w środowiskach produkcyjnych, gdzie dane napływają szybko, a etykietowanie nie nadąża.

• Kluczowe właściwości
• Łączy mały zbiór danych oznaczonych z dużym zbiorem nieoznaczonym, aby poprawić jakość predykcji przy ograniczonych etykietach.
• Opiera się na założeniach o strukturze danych (podobieństwo, skupienia, granice decyzyjne w obszarach rzadkich), które nie zawsze są spełnione.
• Wymaga rygorystycznej walidacji: łatwo o „samoutwierdzanie” błędów, jeśli pseudo-etykiety są niskiej jakości lub dane są stronnicze.
• Często korzysta z augmentacji danych i regularizacji, aby model był stabilny na drobne zmiany wejścia (np. warianty opisu produktu).

• Typowe konteksty użycia
• Klasyfikacja tekstu i treści w sklepie: kategorie produktów, tagowanie atrybutów, wykrywanie niedozwolonych treści w opiniach.
• Analiza zachowań użytkowników: przewidywanie prawdopodobieństwa zakupu lub rezygnacji, gdy „prawdziwa” etykieta jest rzadka lub opóźniona.
• Wykrywanie anomalii i nadużyć: mało potwierdzonych przypadków, dużo danych „niepewnych” lub nieopisanych.
• Sytuacje, w których dane nieoznaczone są łatwe do zebrania (logi, katalog, obrazy), a etykietowanie jest drogie (czas ekspertów, ręczna moderacja).

• Częste nieporozumienia
• „Dane nieoznaczone są zawsze bezpieczne do użycia” — nie; mogą zawierać inny rozkład niż dane oznaczone (np. nowe kategorie, sezonowość), co pogarsza wyniki.
• „Pseudo-etykiety to prawda” — nie; to predykcje modelu, które mogą wprowadzać systematyczny błąd, jeśli nie kontroluje się jakości i pewności.
• „Uczenie półnadzorowane zastępuje etykietowanie” — nie; zwykle zmniejsza jego skalę, ale nadal potrzebne są etykiety do zakotwiczenia problemu i oceny jakości.
• „To to samo co uczenie samonadzorowane” — nie; samonadzorowane tworzy zadanie pomocnicze z samych danych (np. przewidywanie brakującego fragmentu), a półnadzorowane łączy dane z etykietami i bez etykiet dla docelowej predykcji.