Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
4. Braki duplikaty i identyfikatory
Decyzję o czyszczeniu podejmujesz na podstawie znaczenia danych i celu analizy. Ten sam brak może być dopuszczalny w jednym zastosowaniu i uniemożliwiać inne. Podobne rekordy mogą być kopiami albo różnymi zdarzeniami. Każdą decyzję opisuj przez dowód, uzasadnienie, operację i kontrolę skutku.
Kopia robocza i świadome pozostawienie braków
pomiary_clean = pomiary_raw.copy()
urzadzenia_clean = urzadzenia_raw.copy()
braki_energii = pomiary_clean["energia"].isna()
display(pomiary_clean.loc[
braki_energii, ["czas", "urzadzenie", "energia"]
])
Braki dotyczą U-03 w dniu 12 stycznia o 08:00 i U-04 w dniu 21 stycznia o 20:00. Nie masz dodatkowego źródła pozwalającego odtworzyć te pomiary. Pozostawiasz więc oba braki. Różne urządzenia i terminy nie wystarczają, aby ustalić przyczynę albo mechanizm powstania braków.
NaN oznacza brak wartości, zero oznacza zmierzoną wartość równą zero, a tekst N/D jest jedynie umownym markerem. Ich utożsamienie zmienia informację. W tym zbiorze wstawienie zer nie zmieni sumy obliczanej z pominięciem braków, ale zmniejszy średnią, bo jej mianownik wzrośnie z 718 do 720.
|
Strategia energii |
Wiersze |
Suma kWh |
Średnia kWh |
|---|---|---|---|
|
Pozostawienie braków |
720 |
10 001,16 |
13,93 |
|
Usunięcie wierszy z brakami |
718 |
10 001,16 |
13,93 |
|
Zastąpienie braków zerem |
720 |
10 001,16 |
13,89 |
|
Uzupełnienie średnią |
720 |
10 029,02 |
13,93 |
Wartości w tabeli są zaokrąglone do dwóch miejsc. Uzupełnienie średnią, czyli imputacja, dodaje oszacowania, nie odczyty z urządzeń. Może mieć uzasadnienie w innych zadaniach, lecz wymaga jawnej metody i oceny wpływu na wynik. Tutaj nie jest potrzebne. Usunięcie całych wierszy pozbawiłoby cię także poprawnych temperatur, drgań i produkcji.
W dalszej analizie podawaj liczbę dostępnych pomiarów energii. Suma 10 001,16 kWh opisuje 718 znanych wartości; bez dwóch brakujących odczytów nie jest potwierdzonym pełnym zużyciem dla całej siatki 720 obserwacji.
Duplikat nie jest tym samym co konflikt
Pełny duplikat powtarza wszystkie pola. Jeżeli potwierdzisz, że jest drugą kopią tego samego zapisu, usunięcie kopii nie traci treści. Powtórzony klucz czas i urzadzenie może natomiast obejmować różne wartości energii. Wtedy wiadomo, że występuje konflikt, ale nadal nie wiadomo, który odczyt jest prawidłowy.
Metoda duplicated() domyślnie oznacza kolejne wystąpienia, pozostawiając pierwsze nieoznaczone. Ustawienie keep=False pokazuje wszystkie wiersze należące do powtórzeń. Parametr subset definiuje, które pola uznajesz za klucz; jest więc częścią decyzji merytorycznej.
Eksperyment wykonaj na pliku pomocniczym, oddzielnie od pomiary_clean. W tym pliku przecinek jest separatorem dziesiętnym, a średnik rozdziela kolumny.
demo_raw = pd.read_csv(
DATA_RAW / "przyklady_kontrolowane_m2.csv",
sep=";", encoding="utf-8", decimal=",", na_values=["N/D"]
)
print(demo_raw.duplicated().sum())
demo = demo_raw.drop_duplicates().copy()
demo["do_wyjasnienia"] = demo.duplicated(
subset=KLUCZ, keep=False
)
print(len(demo), demo["do_wyjasnienia"].sum())
Pełna kopia rekordu K-003 daje jedno dodatkowe wystąpienie. Po jej usunięciu pozostaje osiem wierszy, z których dwa mają konflikt klucza: K-006 i K-007, oba dla U-06 w dniu 16 lutego o 20:00. Energia wynosi odpowiednio 14,9 i 15,4 kWh. Flaga zachowuje oba zapisy do wyjaśnienia.
Przy konflikcie keep="first" wybiera pierwszy wiersz w aktualnej kolejności, a keep="last" — ostatni. Żadna z tych opcji nie dowodzi, który pomiar jest prawdziwy. Keep=False usunęłoby oba, tworząc lukę. Do rozstrzygnięcia potrzebujesz reguły źródła, na przykład wiarygodnej informacji o korekcie. W głównym zbiorze oba liczniki duplikatów wynoszą zero, więc niczego nie usuwasz.
Trzy kontrole identyfikatora
Identyfikator musi być obecny, mieć właściwy format i wskazywać istniejące urządzenie. Wzorzec U-NN opisuje zapis, lecz nie potwierdza członkostwa w kartotece. U-09 spełnia wzorzec U-NN, a jednak nie występuje w używanej kartotece. Nie wolno zmienić go na U-08 wyłącznie dlatego, że taka wartość pasowałaby do listy.
ids = pomiary_clean["urzadzenie"].astype("string")
karta = urzadzenia_clean["urzadzenie"].astype("string")
assert ids.notna().all()
assert ids.str.fullmatch(r"U-\d{2}", na=False).all()
assert karta.notna().all()
assert karta.is_unique
assert not (set(ids) - set(karta))
assert not pomiary_clean.duplicated(subset=KLUCZ).any()
assert len(pomiary_clean) == 720
assert pomiary_clean["energia"].isna().sum() == 2
Kontrole potwierdzają również świadomy brak operacji. To, że pozostawiono 720 rekordów i dwa braki energii, nie jest pominięciem etapu czyszczenia. Jest wynikiem decyzji, której skutki zmierzono. W notebooku zachowaj sekcję „Dziennik decyzji dotyczących jakości danych” i uzupełniaj ją po kolejnych rozdziałach.
Jak zapisać decyzję
Przykładowy wpis może brzmieć: „W energii występują dwa braki, dla U-03 i U-04. Brak wiarygodnego źródła do odtworzenia wartości. Pozostawiam braki; odrzucam zero i imputację, ponieważ tworzyłyby niezmierzone wartości. Nie usuwam wierszy, aby zachować pozostałe pomiary. Kontrola: 720 rekordów, dwa braki energii, suma znanych pomiarów bez zmian”.
Przy konflikcie zapisz także identyfikatory rekordów, różniące się pola i informację potrzebną do rozstrzygnięcia. Nie wpisuj, że skontaktowano się ze źródłem, jeśli to dopiero plan. Dziennik powinien odróżniać wykonane działania od spraw oczekujących.
Ćwiczenie w notebooku
Na danych demonstracyjnych wskaż pełną kopię, konflikt klucza i urządzenie spoza kartoteki. Wyjaśnij, dlaczego tylko pierwszy przypadek pozwala od razu usunąć kopię rekordu. Powtórz sprawdzenie klucza po ujednoliceniu dat w rozdziale 4 — odmienne zapisy czasu mogą ukrywać tę samą chwilę.
Sprawdź rozumienie 3
Po zastąpieniu braków energii zerem suma się nie zmieniła. Czy taki wynik dowodzi, że operacja była neutralna? Jaką drugą miarę i jaką informację o pochodzeniu wartości należy sprawdzić?