Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
5. Typy daty kategorie i jednostki
Konwersja ma uporządkować reprezentację danych bez niezauważonej utraty informacji. Najpierw zachowujesz stan przed zmianą, następnie określasz regułę, wykonujesz przekształcenie i kontrolujesz wynik. Zasada ta dotyczy dat, liczb, tekstu i jednostek. Poprawny typ techniczny nadal nie oznacza poprawnej wartości domenowej.
Jawny format czasu
W głównym pliku czas ma format rok-miesiąc-dzień godzina:minuta. Errors="coerce" zamienia nierozpoznane wartości na NaT. Nie naprawia ich i nie wyjaśnia przyczyny. Nowe braki należy wykryć przed zastąpieniem pierwotnej kolumny.
czas_przed = pomiary_clean["czas"].copy()
czas_po = pd.to_datetime(
czas_przed, format="%Y-%m-%d %H:%M", errors="coerce"
)
nowe_braki = czas_po.isna() & czas_przed.notna()
assert not nowe_braki.any()
assert czas_po.notna().all()
pomiary_clean["czas"] = czas_po
assert not pomiary_clean.duplicated(subset=KLUCZ).any()
Wszystkie 720 wartości przechodzi konwersję. Zachowanych jest 90 znaczników czasu. Kontrola klucza po konwersji jest potrzebna, bo dwa różne teksty daty mogą oznaczać tę samą chwilę. Format źródłowy określa interpretację; nie zgaduj znaczenia niejednoznacznego zapisu 03/04/2026.
W pliku demonstracyjnym dozwolone są trzy formaty. Poniższy eksperyment korzysta z ramki demo z rozdziału 3 i zapisuje datę w nowej kolumnie, pozostawiając oryginalny tekst.
formaty = ["%Y-%m-%d %H:%M", "%d.%m.%Y %H:%M",
"%Y/%m/%d %H:%M"]
demo_czas = pd.Series(pd.NaT, index=demo.index,
dtype="datetime64[ns]")
for fmt in formaty:
demo_czas = demo_czas.fillna(pd.to_datetime(
demo["czas"], format=fmt, errors="coerce"))
demo["czas_po"] = demo_czas
display(demo.loc[demo_czas.isna(), ["rekord_id", "czas"]])
Nierozpoznany pozostaje K-005 z datą 31.02.2026 08:00. Taki dzień nie istnieje. Nie zastępuj go arbitralnie ostatnim dniem lutego: potrzebujesz informacji ze źródła, a do tego czasu zachowujesz rekord jako wymagający wyjaśnienia.
Najpierw znaczenie kategorii potem typ
Usunięcie spacji brzegowych i ujednolicenie wielkości liter porządkują zapis. Nie rozstrzygają jednak, czy eco znaczy to samo co oszczedny. Dozwolone wartości ustal na podstawie słownika. Nieznana kategoria powinna zatrzymać proces, a nie zostać cicho zastąpiona najbardziej podobną nazwą.
tryb_norm = (pomiary_clean["tryb"].astype("string")
.str.strip().str.lower())
status_norm = (pomiary_clean["status"].astype("string")
.str.strip().str.upper())
assert tryb_norm.notna().all()
assert status_norm.notna().all()
assert set(tryb_norm) <= {"auto", "oszczedny"}
assert set(status_norm) <= {"OK"}
pomiary_clean["tryb"] = tryb_norm.astype("category")
pomiary_clean["status"] = status_norm.astype("category")
Po normalizacji otrzymujesz 360 rekordów auto, 360 oszczedny i 720 OK. Zapis zmienił się w dwóch komórkach: AUTO na auto oraz ok na OK. Żaden rekord nie został usunięty. Samo astype("category") nie sprawdza dozwolonego słownika — dlatego kontrola znaczenia poprzedza zmianę typu.
Schemat kolumn liczbowych
Identyfikator pozostaje tekstem, nawet jeśli zawiera cyfry. Produkcja to liczba całkowita, ale po rozstrzygnięciu błędu może zawierać brak. Typ Int64 z wielką literą I obsługuje taką sytuację. Nie jest tym samym co zwykły int64, który nie przechowuje wartości pd.NA.
SCHEMAT = {
"urzadzenie": "string",
"temperatura": "float64", "drgania": "float64",
"energia": "float64", "produkcja": "Int64"
}
pomiary_clean = pomiary_clean.astype(SCHEMAT)
assert pomiary_clean.shape == (720, 8)
assert pomiary_clean["energia"].isna().sum() == 2
W innym źródle zapis „12,8” może być tekstem. Przy jednolitym formacie użyj decimal="," już podczas importu. Gdy formaty są mieszane, zachowaj serię źródłową, rozpoznaj markery braków, zastosuj udokumentowaną regułę zapisu i użyj to_numeric(). Nowe braki po konwersji wykrywaj maską po.isna() & przed.notna(). Nie zamieniaj dowolnych błędnych tekstów na zero.
Jednostka jest częścią wartości
Liczba 13200 nie mówi sama, czy energia została zapisana w Wh, czy w kWh. Po poprawnej konwersji liczbowej nadal możesz mieć nieporównywalne wartości. Jednostkę potwierdza słownik, dokumentacja albo osobna kolumna źródła. Model językowy może zasugerować hipotezę, ale wielkość liczby nie stanowi dowodu jej jednostki.
W pliku demonstracyjnym pole jednostka_energii pozwala wykonać jawne przeliczenie do kWh. Energia została już odczytana liczbowo z decimal="," i na_values=["N/D"]. Nie zmieniaj kolumny wejściowej: dopisz wynik w energia_kwh.
przelicznik = {"Wh": 0.001, "kWh": 1.0}
jednostka = (demo["jednostka_energii"].astype("string")
.str.strip())
wsp = jednostka.map(przelicznik)
nierozpoznane = demo["energia"].notna() & wsp.isna()
assert not nierozpoznane.any()
demo["energia_kwh"] = demo["energia"] * wsp
display(demo[["energia", "jednostka_energii", "energia_kwh"]])
Wartość 13200 Wh daje 13,2 kWh, a 12,8 kWh pozostaje bez zmiany. Reguła obejmuje tylko znane jednostki. Brakującą jednostkę istniejącego pomiaru trzeba wyjaśnić; nie wolno nadać jej domyślnie współczynnika 1. W głównym zbiorze energia jest już w kWh, więc żadne przeliczenie nie jest potrzebne.
Tak samo postępujesz z temperaturą: liczby w stopniach Celsjusza, Fahrenheita i kelwinach wymagają różnych reguł. Dla potwierdzonego zapisu w °F stosujesz (wartość − 32) × 5/9, a dla K odejmujesz 273,15, aby otrzymać °C. Zachowuj wartość i jednostkę źródłową, ponieważ to one pozwalają sprawdzić przeliczenie.
Ćwiczenie w notebooku
Zapisz tabelę konwersji: pole, stan przed, reguła, stan po i kontrola nowych braków. Dla głównego zbioru sprawdź 720 rekordów, dwa braki energii, brak NaT i dozwolone kategorie. W eksperymencie wskaż niemożliwą datę oraz przeliczenie 13200 Wh na 13,2 kWh. Nie łącz danych demonstracyjnych z pomiarami.
Sprawdź rozumienie 4
Konwersja dat zakończyła się bez wyjątku, lecz utworzyła jeden NaT. Czy możesz uznać ją za udaną? Co musisz sprawdzić przed zastąpieniem kolumny źródłowej?