Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
3. Pierwszy audyt zbioru
Audyt opisuje stan danych przed zmianami. Bez tego punktu odniesienia łatwo uznać dowolny efekt czyszczenia za poprawę: mniej wierszy za usunięcie problemów, a brak pustych komórek za lepszą jakość. Tymczasem oba efekty mogą wynikać z utraty informacji. Na tym etapie zbierasz dowody i zapisujesz pytania, nie poprawiasz jeszcze wartości.
Profil jakości kolumn
Metoda info() łączy informację o strukturze, liczbie niepustych wartości i typach. Dtypes pozwala odczytać same typy, isna() wskazuje braki, a nunique() liczy różne wartości. Ustawienie dropna=False uwzględnia brak jako dodatkową odrębną wartość. Taki profil można później odtworzyć i porównać ze stanem końcowym.
pomiary_raw.info()
profil_jakosci = pd.DataFrame({
"typ": pomiary_raw.dtypes.astype(str),
"braki": pomiary_raw.isna().sum(),
"braki_proc": pomiary_raw.isna().mean().mul(100),
"unikalne_z_brakiem": pomiary_raw.nunique(dropna=False)
}).rename_axis("pole")
display(profil_jakosci.round(2))
display(pomiary_raw.describe().T)
W energii są 718 istniejących wartości i dwa braki, czyli około 0,28% z 720 rekordów. Pozostałe kolumny są na wejściu kompletne. Czas może zostać odczytany jako object lub typ tekstowy — zależy to od środowiska i wersji biblioteki. Nadal wymaga jawnej konwersji na datę i czas. Typ pokazany przez program nie zastępuje znaczenia pola w słowniku.
W produkcji typ całkowity nie wyklucza wartości ujemnej. Podobnie poprawny float64 nie potwierdza właściwej jednostki. Audyt musi więc badać zarówno reprezentację, jak i znaczenie danych. Liczba braków, typ i zakres to różne, uzupełniające się informacje.
Kategorie i unikalność
KLUCZ = ["czas", "urzadzenie"]
print("Pełne duplikaty:", pomiary_raw.duplicated().sum())
print("Powtórzenia klucza:",
pomiary_raw.duplicated(subset=KLUCZ).sum())
for pole in ["tryb", "status"]:
display(pomiary_raw[pole].value_counts(dropna=False))
Od profilu do listy sygnałów
Nie ma pełnych duplikatów ani powtórzeń pary czas i urzadzenie. W trybie występują jednak trzy zapisy: oszczedny 360 razy, auto 359 razy i AUTO jeden raz. Status występuje jako OK w 719 rekordach i ok w jednym. To sygnał niespójnego zapisu; wspólne znaczenie wariantów potwierdza słownik, a nie sama podobna pisownia.
|
Pole |
Obserwacja |
Wniosek audytu |
|---|---|---|
|
energia |
2 braki |
Ustalić strategię bez wymyślania pomiarów |
|
czas |
Zapis tekstowy |
Sprawdzić daty i wykonać konwersję |
|
tryb i status |
Warianty AUTO i ok |
Ujednolicić po potwierdzeniu znaczenia |
|
produkcja |
Minimum −12 szt. |
Naruszenie reguły nieujemnej liczby sztuk |
|
drgania |
Maksimum 4,850 mm/s |
Sygnał diagnostyczny wymagający kontekstu |
Minimum i maksimum pomagają znaleźć problemy, ale nie opisują całego rozkładu. Temperatura mieści się w przedziale 52,70–66,25 °C, energia wśród istniejących pomiarów w 11,48–15,89 kWh, a produkcja w −12–173 szt. Każdy zakres porównujesz z regułą ustaloną wcześniej, a nie z granicami wymyślonymi po obejrzeniu danych.
Czas i pokrycie obserwacji
Do diagnozy czasu utwórz serię tymczasową. Maska błędów rozróżnia nowy brak po konwersji od pustej wartości obecnej wcześniej. Samo policzenie wszystkich NaT nie daje tego rozróżnienia.
czas_tmp = pd.to_datetime(
pomiary_raw["czas"], format="%Y-%m-%d %H:%M",
errors="coerce"
)
blad_daty = czas_tmp.isna() & pomiary_raw["czas"].notna()
assert not blad_daty.any()
print(czas_tmp.min(), czas_tmp.max(), czas_tmp.nunique())
na_czas = pomiary_raw.groupby("czas")["urzadzenie"].nunique()
assert na_czas.eq(8).all()
assert pomiary_raw["urzadzenie"].value_counts().eq(90).all()
Zakres obejmuje 45 dni kalendarzowych, z dwoma pomiarami dziennie dla każdego urządzenia. Każdy z 90 znaczników ma osiem urządzeń. Dopiero w połączeniu z kontrolą kompletności i unikalności klucza te liczby potwierdzają oczekiwaną siatkę obserwacji.
Audyt kartoteki i relacji między źródłami
Kartoteka powinna zawierać jeden kompletny rekord urządzenia. Unikalność identyfikatora ma tutaj inne znaczenie niż w pomiarach: powtarzanie U-03 w pomiarach jest oczekiwane, ale dwa wiersze U-03 w kartotece mogłyby zwielokrotnić dane przy łączeniu.
assert urzadzenia_raw.notna().all().all()
assert urzadzenia_raw["urzadzenie"].is_unique
ids_pomiary = set(pomiary_raw["urzadzenie"])
ids_kartoteka = set(urzadzenia_raw["urzadzenie"])
print("Bez kartoteki:", ids_pomiary - ids_kartoteka)
print("Bez pomiarów:", ids_kartoteka - ids_pomiary)
W obu kierunkach otrzymasz pusty zbiór. Wszystkie osiem identyfikatorów występuje w obu źródłach. Różnice zbiorów odpowiadają jednak na dwa odrębne pytania: urządzenie bez kartoteki oznacza brak metadanych pomiaru, a urządzenie bez pomiarów może po prostu nie brać udziału w danym okresie obserwacji. Nie należy tych sytuacji utożsamiać.
Wnioski po audycie
Dobry zapis oddziela potwierdzone własności od spraw wymagających decyzji. Możesz napisać: „Oba źródła mają oczekiwaną strukturę. Klucz pomiarów jest unikalny, kartoteka kompletna, a identyfikatory zgodne. Do rozpatrzenia pozostają dwa braki energii, format czasu, dwa warianty kategorii, ujemna produkcja i nietypowo wysokie drgania. Audyt nie zmienił danych”.
Taki zapis jest mocniejszy niż stwierdzenie „dane wyglądają dobrze”. Wskazuje zakres wykonanej kontroli i jej granice. Nie przypisuje przyczyny brakowi energii i nie nazywa skoku drgań awarią, ponieważ sam profil danych tego nie dowodzi.
Ćwiczenie w notebooku
Zbuduj profil jakości obu źródeł, wyświetl dwa rekordy z brakami energii i dopisz do każdego sygnału właściwe pytanie. Dla braków pytaj o możliwość odtworzenia pomiaru; dla kategorii o znaczenie; dla ujemnej produkcji o regułę; dla drgań o kontekst. Zachowaj wyniki jako stan „przed”.
Sprawdź rozumienie 2
W próbce pierwszych trzech wierszy nie ma braków, a typ wszystkich pomiarów jest liczbowy. Czy to wystarcza, aby uznać cały zbiór za kompletny i poprawny? Wskaż dwie kontrole, które nadal są potrzebne.