Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki

3. Pierwszy audyt zbioru

Audyt opisuje stan danych przed zmianami. Bez tego punktu odniesienia łatwo uznać dowolny efekt czyszczenia za poprawę: mniej wierszy za usunięcie problemów, a brak pustych komórek za lepszą jakość. Tymczasem oba efekty mogą wynikać z utraty informacji. Na tym etapie zbierasz dowody i zapisujesz pytania, nie poprawiasz jeszcze wartości.

Profil jakości kolumn

Metoda info() łączy informację o strukturze, liczbie niepustych wartości i typach. Dtypes pozwala odczytać same typy, isna() wskazuje braki, a nunique() liczy różne wartości. Ustawienie dropna=False uwzględnia brak jako dodatkową odrębną wartość. Taki profil można później odtworzyć i porównać ze stanem końcowym.

pomiary_raw.info()
profil_jakosci = pd.DataFrame({
    "typ": pomiary_raw.dtypes.astype(str),
    "braki": pomiary_raw.isna().sum(),
    "braki_proc": pomiary_raw.isna().mean().mul(100),
    "unikalne_z_brakiem": pomiary_raw.nunique(dropna=False)
}).rename_axis("pole")
display(profil_jakosci.round(2))
display(pomiary_raw.describe().T)

W energii są 718 istniejących wartości i dwa braki, czyli około 0,28% z 720 rekordów. Pozostałe kolumny są na wejściu kompletne. Czas może zostać odczytany jako object lub typ tekstowy — zależy to od środowiska i wersji biblioteki. Nadal wymaga jawnej konwersji na datę i czas. Typ pokazany przez program nie zastępuje znaczenia pola w słowniku.

W produkcji typ całkowity nie wyklucza wartości ujemnej. Podobnie poprawny float64 nie potwierdza właściwej jednostki. Audyt musi więc badać zarówno reprezentację, jak i znaczenie danych. Liczba braków, typ i zakres to różne, uzupełniające się informacje.

Kategorie i unikalność

KLUCZ = ["czas", "urzadzenie"]
print("Pełne duplikaty:", pomiary_raw.duplicated().sum())
print("Powtórzenia klucza:",
      pomiary_raw.duplicated(subset=KLUCZ).sum())
for pole in ["tryb", "status"]:
    display(pomiary_raw[pole].value_counts(dropna=False))

Od profilu do listy sygnałów

Nie ma pełnych duplikatów ani powtórzeń pary czas i urzadzenie. W trybie występują jednak trzy zapisy: oszczedny 360 razy, auto 359 razy i AUTO jeden raz. Status występuje jako OK w 719 rekordach i ok w jednym. To sygnał niespójnego zapisu; wspólne znaczenie wariantów potwierdza słownik, a nie sama podobna pisownia.

Pole

Obserwacja

Wniosek audytu

energia

2 braki

Ustalić strategię bez wymyślania pomiarów

czas

Zapis tekstowy

Sprawdzić daty i wykonać konwersję

tryb i status

Warianty AUTO i ok

Ujednolicić po potwierdzeniu znaczenia

produkcja

Minimum −12 szt.

Naruszenie reguły nieujemnej liczby sztuk

drgania

Maksimum 4,850 mm/s

Sygnał diagnostyczny wymagający kontekstu

Minimum i maksimum pomagają znaleźć problemy, ale nie opisują całego rozkładu. Temperatura mieści się w przedziale 52,70–66,25 °C, energia wśród istniejących pomiarów w 11,48–15,89 kWh, a produkcja w −12–173 szt. Każdy zakres porównujesz z regułą ustaloną wcześniej, a nie z granicami wymyślonymi po obejrzeniu danych.

Czas i pokrycie obserwacji

Do diagnozy czasu utwórz serię tymczasową. Maska błędów rozróżnia nowy brak po konwersji od pustej wartości obecnej wcześniej. Samo policzenie wszystkich NaT nie daje tego rozróżnienia.

czas_tmp = pd.to_datetime(
    pomiary_raw["czas"], format="%Y-%m-%d %H:%M",
    errors="coerce"
)
blad_daty = czas_tmp.isna() & pomiary_raw["czas"].notna()
assert not blad_daty.any()
print(czas_tmp.min(), czas_tmp.max(), czas_tmp.nunique())
na_czas = pomiary_raw.groupby("czas")["urzadzenie"].nunique()
assert na_czas.eq(8).all()
assert pomiary_raw["urzadzenie"].value_counts().eq(90).all()

Zakres obejmuje 45 dni kalendarzowych, z dwoma pomiarami dziennie dla każdego urządzenia. Każdy z 90 znaczników ma osiem urządzeń. Dopiero w połączeniu z kontrolą kompletności i unikalności klucza te liczby potwierdzają oczekiwaną siatkę obserwacji.

Audyt kartoteki i relacji między źródłami

Kartoteka powinna zawierać jeden kompletny rekord urządzenia. Unikalność identyfikatora ma tutaj inne znaczenie niż w pomiarach: powtarzanie U-03 w pomiarach jest oczekiwane, ale dwa wiersze U-03 w kartotece mogłyby zwielokrotnić dane przy łączeniu.

assert urzadzenia_raw.notna().all().all()
assert urzadzenia_raw["urzadzenie"].is_unique
ids_pomiary = set(pomiary_raw["urzadzenie"])
ids_kartoteka = set(urzadzenia_raw["urzadzenie"])
print("Bez kartoteki:", ids_pomiary - ids_kartoteka)
print("Bez pomiarów:", ids_kartoteka - ids_pomiary)

W obu kierunkach otrzymasz pusty zbiór. Wszystkie osiem identyfikatorów występuje w obu źródłach. Różnice zbiorów odpowiadają jednak na dwa odrębne pytania: urządzenie bez kartoteki oznacza brak metadanych pomiaru, a urządzenie bez pomiarów może po prostu nie brać udziału w danym okresie obserwacji. Nie należy tych sytuacji utożsamiać.

Wnioski po audycie

Dobry zapis oddziela potwierdzone własności od spraw wymagających decyzji. Możesz napisać: „Oba źródła mają oczekiwaną strukturę. Klucz pomiarów jest unikalny, kartoteka kompletna, a identyfikatory zgodne. Do rozpatrzenia pozostają dwa braki energii, format czasu, dwa warianty kategorii, ujemna produkcja i nietypowo wysokie drgania. Audyt nie zmienił danych”.

Taki zapis jest mocniejszy niż stwierdzenie „dane wyglądają dobrze”. Wskazuje zakres wykonanej kontroli i jej granice. Nie przypisuje przyczyny brakowi energii i nie nazywa skoku drgań awarią, ponieważ sam profil danych tego nie dowodzi.

Ćwiczenie w notebooku

Zbuduj profil jakości obu źródeł, wyświetl dwa rekordy z brakami energii i dopisz do każdego sygnału właściwe pytanie. Dla braków pytaj o możliwość odtworzenia pomiaru; dla kategorii o znaczenie; dla ujemnej produkcji o regułę; dla drgań o kontekst. Zachowaj wyniki jako stan „przed”.

Sprawdź rozumienie 2

W próbce pierwszych trzech wierszy nie ma braków, a typ wszystkich pomiarów jest liczbowy. Czy to wystarcza, aby uznać cały zbiór za kompletny i poprawny? Wskaż dwie kontrole, które nadal są potrzebne.