4. Braki duplikaty i identyfikatory

Decyzję o czyszczeniu podejmujesz na podstawie znaczenia danych i celu analizy. Ten sam brak może być dopuszczalny w jednym zastosowaniu i uniemożliwiać inne. Podobne rekordy mogą być kopiami albo różnymi zdarzeniami. Każdą decyzję opisuj przez dowód, uzasadnienie, operację i kontrolę skutku.

Kopia robocza i świadome pozostawienie braków

pomiary_clean = pomiary_raw.copy()
urzadzenia_clean = urzadzenia_raw.copy()
braki_energii = pomiary_clean["energia"].isna()
display(pomiary_clean.loc[
    braki_energii, ["czas", "urzadzenie", "energia"]
])

Braki dotyczą U-03 w dniu 12 stycznia o 08:00 i U-04 w dniu 21 stycznia o 20:00. Nie masz dodatkowego źródła pozwalającego odtworzyć te pomiary. Pozostawiasz więc oba braki. Różne urządzenia i terminy nie wystarczają, aby ustalić przyczynę albo mechanizm powstania braków.

NaN oznacza brak wartości, zero oznacza zmierzoną wartość równą zero, a tekst N/D jest jedynie umownym markerem. Ich utożsamienie zmienia informację. W tym zbiorze wstawienie zer nie zmieni sumy obliczanej z pominięciem braków, ale zmniejszy średnią, bo jej mianownik wzrośnie z 718 do 720.

Strategia energii

Wiersze

Suma kWh

Średnia kWh

Pozostawienie braków

720

10 001,16

13,93

Usunięcie wierszy z brakami

718

10 001,16

13,93

Zastąpienie braków zerem

720

10 001,16

13,89

Uzupełnienie średnią

720

10 029,02

13,93

Wartości w tabeli są zaokrąglone do dwóch miejsc. Uzupełnienie średnią, czyli imputacja, dodaje oszacowania, nie odczyty z urządzeń. Może mieć uzasadnienie w innych zadaniach, lecz wymaga jawnej metody i oceny wpływu na wynik. Tutaj nie jest potrzebne. Usunięcie całych wierszy pozbawiłoby cię także poprawnych temperatur, drgań i produkcji.

W dalszej analizie podawaj liczbę dostępnych pomiarów energii. Suma 10 001,16 kWh opisuje 718 znanych wartości; bez dwóch brakujących odczytów nie jest potwierdzonym pełnym zużyciem dla całej siatki 720 obserwacji.

Duplikat nie jest tym samym co konflikt

Pełny duplikat powtarza wszystkie pola. Jeżeli potwierdzisz, że jest drugą kopią tego samego zapisu, usunięcie kopii nie traci treści. Powtórzony klucz czas i urzadzenie może natomiast obejmować różne wartości energii. Wtedy wiadomo, że występuje konflikt, ale nadal nie wiadomo, który odczyt jest prawidłowy.

Metoda duplicated() domyślnie oznacza kolejne wystąpienia, pozostawiając pierwsze nieoznaczone. Ustawienie keep=False pokazuje wszystkie wiersze należące do powtórzeń. Parametr subset definiuje, które pola uznajesz za klucz; jest więc częścią decyzji merytorycznej.

Eksperyment wykonaj na pliku pomocniczym, oddzielnie od pomiary_clean. W tym pliku przecinek jest separatorem dziesiętnym, a średnik rozdziela kolumny.

demo_raw = pd.read_csv(
    DATA_RAW / "przyklady_kontrolowane_m2.csv",
    sep=";", encoding="utf-8", decimal=",", na_values=["N/D"]
)
print(demo_raw.duplicated().sum())
demo = demo_raw.drop_duplicates().copy()
demo["do_wyjasnienia"] = demo.duplicated(
    subset=KLUCZ, keep=False
)
print(len(demo), demo["do_wyjasnienia"].sum())

Pełna kopia rekordu K-003 daje jedno dodatkowe wystąpienie. Po jej usunięciu pozostaje osiem wierszy, z których dwa mają konflikt klucza: K-006 i K-007, oba dla U-06 w dniu 16 lutego o 20:00. Energia wynosi odpowiednio 14,9 i 15,4 kWh. Flaga zachowuje oba zapisy do wyjaśnienia.

Przy konflikcie keep="first" wybiera pierwszy wiersz w aktualnej kolejności, a keep="last" — ostatni. Żadna z tych opcji nie dowodzi, który pomiar jest prawdziwy. Keep=False usunęłoby oba, tworząc lukę. Do rozstrzygnięcia potrzebujesz reguły źródła, na przykład wiarygodnej informacji o korekcie. W głównym zbiorze oba liczniki duplikatów wynoszą zero, więc niczego nie usuwasz.

Trzy kontrole identyfikatora

Identyfikator musi być obecny, mieć właściwy format i wskazywać istniejące urządzenie. Wzorzec U-NN opisuje zapis, lecz nie potwierdza członkostwa w kartotece. U-09 spełnia wzorzec U-NN, a jednak nie występuje w używanej kartotece. Nie wolno zmienić go na U-08 wyłącznie dlatego, że taka wartość pasowałaby do listy.

ids = pomiary_clean["urzadzenie"].astype("string")
karta = urzadzenia_clean["urzadzenie"].astype("string")
assert ids.notna().all()
assert ids.str.fullmatch(r"U-\d{2}", na=False).all()
assert karta.notna().all()
assert karta.is_unique
assert not (set(ids) - set(karta))
assert not pomiary_clean.duplicated(subset=KLUCZ).any()
assert len(pomiary_clean) == 720
assert pomiary_clean["energia"].isna().sum() == 2

Kontrole potwierdzają również świadomy brak operacji. To, że pozostawiono 720 rekordów i dwa braki energii, nie jest pominięciem etapu czyszczenia. Jest wynikiem decyzji, której skutki zmierzono. W notebooku zachowaj sekcję „Dziennik decyzji dotyczących jakości danych” i uzupełniaj ją po kolejnych rozdziałach.

Jak zapisać decyzję

Przykładowy wpis może brzmieć: „W energii występują dwa braki, dla U-03 i U-04. Brak wiarygodnego źródła do odtworzenia wartości. Pozostawiam braki; odrzucam zero i imputację, ponieważ tworzyłyby niezmierzone wartości. Nie usuwam wierszy, aby zachować pozostałe pomiary. Kontrola: 720 rekordów, dwa braki energii, suma znanych pomiarów bez zmian”.

Przy konflikcie zapisz także identyfikatory rekordów, różniące się pola i informację potrzebną do rozstrzygnięcia. Nie wpisuj, że skontaktowano się ze źródłem, jeśli to dopiero plan. Dziennik powinien odróżniać wykonane działania od spraw oczekujących.

Ćwiczenie w notebooku

Na danych demonstracyjnych wskaż pełną kopię, konflikt klucza i urządzenie spoza kartoteki. Wyjaśnij, dlaczego tylko pierwszy przypadek pozwala od razu usunąć kopię rekordu. Powtórz sprawdzenie klucza po ujednoliceniu dat w rozdziale 4 — odmienne zapisy czasu mogą ukrywać tę samą chwilę.

Sprawdź rozumienie 3

Po zastąpieniu braków energii zerem suma się nie zmieniła. Czy taki wynik dowodzi, że operacja była neutralna? Jaką drugą miarę i jaką informację o pochodzeniu wartości należy sprawdzić?