Data preprocessing

Data preprocessing (wstępne przetwarzanie danych) to zestaw metod przygotowania surowych danych do analizy, modelowania statystycznego lub uczenia maszynowego poprzez ich oczyszczenie, ujednolicenie, transformację i uporządkowanie. Celem jest uzyskanie danych spójnych, porównywalnych i możliwie wiernie odzwierciedlających badane zjawisko, przy jednoczesnym ograniczeniu błędów wynikających z jakości źródeł i sposobu pomiaru.

W praktyce dane rzadko trafiają do analityka w formie „gotowej do użycia”. Mogą pochodzić z wielu systemów (np. ERP, CRM, bankowość transakcyjna, rejestry publiczne, ankiety, czujniki IoT), mieć różne formaty, częstotliwości i definicje pól, a także zawierać braki, duplikaty, błędy pomiaru czy wartości skrajne. Data preprocessing obejmuje więc działania takie jak: walidacja i korekta typów danych (np. daty, waluty), usuwanie lub scalanie duplikatów, uzupełnianie braków, standaryzacja jednostek (np. PLN vs. EUR), kodowanie zmiennych kategorycznych (np. branża, region), skalowanie zmiennych liczbowych oraz tworzenie cech pochodnych (feature engineering). Przykładowo, w analizie sprzedaży detalicznej często trzeba ujednolicić nazwy produktów, skorygować zwroty i anulacje, a także zbudować miary takie jak „sprzedaż netto” czy „marża” w porównywalnych okresach.

Istotnym elementem preprocessing jest dopasowanie danych do celu analizy i przyjętych założeń. W ekonomii i finansach szczególnie ważne bywa wyrównanie częstotliwości (np. dzienne notowania vs. kwartalne sprawozdania), korekta o inflację (przeliczenie wartości nominalnych na realne), uwzględnienie sezonowości oraz konsekwentne traktowanie zdarzeń jednorazowych. W modelach ryzyka kredytowego preprocessing może obejmować agregację historii spłat do wskaźników (np. liczba dni opóźnienia w ostatnich 12 miesiącach), kodowanie informacji o zatrudnieniu i dochodach, a także kontrolę jakości etykiet (np. definicja „default” i moment jego wystąpienia). W analizie makroekonomicznej często przetwarza się szeregi czasowe: usuwa braki w publikacjach, wyrównuje rewizje danych, dokonuje logarytmizacji lub różnicowania, aby uzyskać stacjonarność i porównywalność dynamik.

Preprocessing nie jest jednorazowym „czyszczeniem”, lecz częścią całego cyklu pracy z danymi, w którym kluczowe są powtarzalność i audytowalność. Dobre praktyki obejmują dokumentowanie reguł (np. jak traktować brakujące ceny, jak rozpoznawać duplikaty klientów), wersjonowanie zbiorów i kodu, testy jakości danych (np. zakresy, spójność sum kontrolnych), a także rozdzielenie etapów przygotowania danych od etapu modelowania, aby ograniczyć ryzyko błędów metodologicznych. Przykładowo, w uczeniu maszynowym parametry skalowania (średnia, odchylenie standardowe) powinny być wyznaczane na zbiorze treningowym i dopiero potem stosowane do zbioru testowego, aby uniknąć „przecieku informacji” (data leakage), który sztucznie zawyża wyniki. W kontekście biznesowym preprocessing ma też wymiar operacyjny: poprawa jakości danych może zmniejszać koszty raportowania, ograniczać błędy decyzyjne i ułatwiać zgodność definicji wskaźników w organizacji (np. jednolite liczenie aktywnych klientów).

• Kluczowe właściwości
• Celowość i zależność od zastosowania: te same dane można przetwarzać inaczej w zależności od pytania (np. prognoza popytu vs. wykrywanie nadużyć). Usunięcie wartości skrajnych może być zasadne w analizie typowych zachowań, ale nie w detekcji fraudów, gdzie „odstępstwa” są sygnałem.
• Łańcuch transformacji (pipeline): preprocessing zwykle składa się z wielu kroków wykonywanych w stałej kolejności (np. walidacja → imputacja braków → kodowanie → skalowanie), co ułatwia automatyzację i powtarzalność wyników.
• Ryzyko zniekształceń: niektóre operacje mogą wprowadzać bias (np. imputacja średnią spłaszcza zmienność; agresywne filtrowanie usuwa rzadkie, ale istotne zdarzenia). Dlatego ważne jest uzasadnienie metod i analiza wrażliwości.
• Wymóg spójności definicji: szczególnie w finansach i ekonomii kluczowe jest konsekwentne rozumienie zmiennych (np. „przychód” brutto vs. netto, kurs średni vs. zamknięcia, CPI vs. HICP), bo preprocessing często „materializuje” te definicje w danych.

• Typowe konteksty zastosowań
• Finanse i inwestycje: przygotowanie danych rynkowych (korekty o splity i dywidendy, ujednolicenie stref czasowych, usuwanie błędnych ticków), łączenie notowań z danymi fundamentalnymi, budowa cech (np. stopy zwrotu, zmienność, wskaźniki płynności).
• Ryzyko kredytowe i ubezpieczenia: czyszczenie danych klienta, standaryzacja kategorii (np. branża, forma zatrudnienia), agregacja historii transakcji i spłat, obsługa braków w dokumentach oraz kontrola spójności etykiet zdarzeń (np. szkoda, opóźnienie).
• Analityka biznesowa i raportowanie: integracja danych z wielu systemów, deduplikacja klientów, mapowanie słowników (np. kody produktów), budowa miar KPI (np. churn, ARPU) i uzgadnianie definicji między działami.
• Makroekonomia i polityka gospodarcza: obróbka szeregów czasowych (sezonowość, rewizje, zmiany metodologii), deflowanie wartości nominalnych, łączenie danych o różnej częstotliwości (miesięczne wskaźniki vs. kwartalne PKB).

• Częste nieporozumienia
• „Preprocessing to tylko usuwanie braków i duplikatów”: w rzeczywistości obejmuje także transformacje statystyczne, kodowanie, skalowanie, tworzenie cech oraz decyzje o definicjach i agregacjach, które mogą istotnie zmienić interpretację danych.
• „Im więcej czyszczenia, tym lepiej”: nadmierne wygładzanie lub usuwanie obserwacji może usuwać informację (np. rzadkie kryzysy, skoki cen), co pogarsza modele i wnioski, zwłaszcza w analizie ryzyka.
• „Preprocessing jest neutralny i nie wpływa na wyniki”: wybór metod (np. sposób imputacji, próg odcięcia outlierów, definicja okna czasowego) może zmieniać estymacje, wnioski i ranking czynników, dlatego powinien być jawny i testowany.
• „Można użyć całego zbioru do dopasowania transformacji”: w modelowaniu predykcyjnym prowadzi to do przecieku informacji; transformacje należy kalibrować na danych treningowych i stosować identycznie na danych walidacyjnych/testowych.
• „Dane z jednego systemu są z definicji spójne”: nawet w jednym źródle występują zmiany definicji pól, błędy wprowadzania, różne wersje rekordów i opóźnienia aktualizacji; preprocessing obejmuje więc również kontrolę jakości i zgodności w czasie.