Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
6. Zakresy dopuszczalne i wartości odstające
Wartość może być nietypowa i jednocześnie poprawna. Może też mieć poprawny zapis liczbowy, ale naruszać znaczenie pola. W tym rozdziale połączysz regułę domenową, sygnał statystyczny i kontekst urządzenia. Dopiero te dowody pozwalają zdecydować, czy wartość poprawić, zachować czy pozostawić do wyjaśnienia.
Reguła twarda i próg diagnostyczny
W naszym kontrakcie temperatura mieści się od 0 do 100 °C, drgania nie mogą być ujemne, energia ma być dodatnia, gdy istnieje pomiar, a produkcja jest nieujemną liczbą sztuk. Próg drgań powyżej 2 mm/s jest diagnostyczny: wskazuje przypadek do sprawdzenia, nie automatyczny błąd ani potwierdzoną awarię.
reguly = {
"temperatura_poza":
~pomiary_clean["temperatura"].between(0, 100),
"drgania_ujemne": pomiary_clean["drgania"].lt(0),
"drgania_do_sprawdzenia": pomiary_clean["drgania"].gt(2),
"energia_niedodatnia": pomiary_clean["energia"].notna()
& pomiary_clean["energia"].le(0),
"produkcja_ujemna": pomiary_clean["produkcja"].lt(0)
}
display(pd.Series({n: m.sum() for n, m in reguly.items()}))
Maski tylko wskazują rekordy. W głównych danych otrzymasz jeden ujemny wynik produkcji i jeden pomiar drgań powyżej progu, bez pozostałych naruszeń zakresów. Kompletność pól sprawdzaj osobno: porównanie z granicą nie zawsze wychwyci brak.
Co mierzy IQR
Pierwszy kwartyl Q1 i trzeci kwartyl Q3 wyznaczają środkową część rozkładu, obejmującą około 50% obserwacji. Rozstęp międzykwartylowy IQR to różnica Q3 − Q1. Popularna reguła oznacza wartości poniżej Q1 − 1,5 × IQR i powyżej Q3 + 1,5 × IQR. Są to granice wynikające z danych, a nie dopuszczalne granice pracy urządzenia.
Dla drgań Q1 = 1,1320, Q3 = 1,3515, a IQR = 0,2195 mm/s. Granice wynoszą 0,80275 i 1,68075 mm/s. Poza nimi leżą trzy wartości: 0,781, 0,786 i 4,850 mm/s. Reguła wykryła nietypowość — nie rozstrzygnęła jej przyczyny.
Detektor i kontekst urządzenia
def wykryj_iqr(seria):
q1, q3 = seria.dropna().quantile([0.25, 0.75])
iqr = q3 - q1
dolna, gorna = q1 - 1.5 * iqr, q3 + 1.5 * iqr
flaga = (seria.lt(dolna) | seria.gt(gorna)).fillna(False)
return flaga, dolna, gorna
flaga_drg, dolna, gorna = wykryj_iqr(pomiary_clean["drgania"])
print(dolna, gorna, flaga_drg.sum())
display(pomiary_clean.loc[
flaga_drg, ["czas", "urzadzenie", "drgania"]
])
W energii kwartyle obliczasz z 718 istniejących wartości. Brak nie jest wartością odstającą. Dla bardzo małej próbki albo zerowego IQR interpretacja tej reguły wymaga dodatkowej ostrożności; funkcja nie staje się przez to uniwersalnym automatem czyszczącym.
|
Pole |
Dolna granica |
Górna granica |
Liczba sygnałów |
|---|---|---|---|
|
temperatura °C |
50,525 |
68,245 |
0 |
|
drgania mm/s |
0,803 |
1,681 |
3 |
|
energia kWh |
9,634 |
18,184 |
0 |
|
produkcja szt. przed korektą |
130,5 |
174,5 |
1 |
Dwa niskie wyniki drgań pochodzą z U-01. Dla samego U-01 lokalne granice IQR wynoszą około 0,765–1,309 mm/s. Wartości 0,781 i 0,786 mieszczą się w tym profilu i spełniają regułę nieujemności. W przypadku kursowym klasyfikujesz je jako prawidłowe wartości nietypowe w skali całego zbioru.
Wynik 4,850 mm/s pochodzi z U-05 z 8 lutego o 20:00. Jest pojedynczym skokiem między typowymi pomiarami. Wykres uporządkowany w czasie pozwala to zobaczyć, lecz nie odróżnia błędu czujnika od rzeczywistego zdarzenia. Potrzebne byłyby dziennik zdarzeń, stan czujnika lub zapis źródłowy. Pozostawiasz wartość z klasyfikacją „do sprawdzenia”.
Zmiana jednej wartości zamiast usunięcia wiersza
Produkcja −12 szt. dla U-03 z 2 lutego o 08:00 narusza regułę nieujemnej liczby wyprodukowanych sztuk. Nie masz jednak podstaw, aby wpisać +12, zero ani średnią. Zastępujesz wyłącznie tę komórkę brakiem. Pozostałe pomiary z tego samego rekordu pozostają dostępne.
blad_produkcji = pomiary_clean["produkcja"].lt(0)
assert blad_produkcji.sum() == 1
pomiary_clean.loc[blad_produkcji, "produkcja"] = pd.NA
assert pomiary_clean.shape == (720, 8)
assert pomiary_clean["produkcja"].isna().sum() == 1
assert pomiary_clean["energia"].isna().sum() == 2
assert np.isclose(pomiary_clean["drgania"].max(), 4.85)
assert pomiary_raw["produkcja"].min() == -12
Po korekcie zbiór ma więcej braków niż przed nią, ale wierniej przedstawia dostępną wiedzę: niepoprawna liczba nie udaje już pomiaru. Dlatego zmniejszenie liczby pustych komórek nie może być samodzielnym celem czyszczenia. W dzienniku zachowaj oryginalną wartość, regułę, decyzję i kontrolę.
Gdyby usunąć wszystkie cztery wiersze wskazane przez IQR, zostałoby 716 rekordów. Utracono by poprawne niskie drgania U-01, niewyjaśniony pomiar U-05 oraz poprawne pola z wiersza U-03. Kontrolowane postępowanie zachowuje 720 rekordów, zmienia jedną wartość i dokumentuje trzy decyzje o zachowaniu drgań.
Pomoc modelu językowego
Możesz poprosić LLM o funkcję zwracającą maskę IQR i progi, wyraźnie zakazując usuwania rekordów. Sprawdź kod na danych: oczekujesz trzech sygnałów i granic 0,80275 oraz 1,68075 mm/s. Przyjęcie detektora po teście nie oznacza przyjęcia ewentualnej sugestii automatycznego usuwania. Model proponuje narzędzie, a decyzję uzasadniają dane i reguły.
Ćwiczenie w notebooku
Oblicz granice dla czterech pól liczbowych. Dla U-01 i U-05 narysuj drgania w kolejności czasu, podpisz osie i jednostkę, a następnie porównaj sygnały globalne z lokalnymi. Opisz cztery przypadki: jedną błędną produkcję, jeden skok do sprawdzenia i dwa poprawne niskie pomiary.
Sprawdź rozumienie 5
Dlaczego 0,781 mm/s i 4,850 mm/s, wskazane przez ten sam detektor IQR, prowadzą do różnych klasyfikacji? Czy samo pozostawanie w lokalnym IQR jest gwarancją sprawności urządzenia?