Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki

6. Zakresy dopuszczalne i wartości odstające

Wartość może być nietypowa i jednocześnie poprawna. Może też mieć poprawny zapis liczbowy, ale naruszać znaczenie pola. W tym rozdziale połączysz regułę domenową, sygnał statystyczny i kontekst urządzenia. Dopiero te dowody pozwalają zdecydować, czy wartość poprawić, zachować czy pozostawić do wyjaśnienia.

Reguła twarda i próg diagnostyczny

W naszym kontrakcie temperatura mieści się od 0 do 100 °C, drgania nie mogą być ujemne, energia ma być dodatnia, gdy istnieje pomiar, a produkcja jest nieujemną liczbą sztuk. Próg drgań powyżej 2 mm/s jest diagnostyczny: wskazuje przypadek do sprawdzenia, nie automatyczny błąd ani potwierdzoną awarię.

reguly = {
    "temperatura_poza":
        ~pomiary_clean["temperatura"].between(0, 100),
    "drgania_ujemne": pomiary_clean["drgania"].lt(0),
    "drgania_do_sprawdzenia": pomiary_clean["drgania"].gt(2),
    "energia_niedodatnia": pomiary_clean["energia"].notna()
        & pomiary_clean["energia"].le(0),
    "produkcja_ujemna": pomiary_clean["produkcja"].lt(0)
}
display(pd.Series({n: m.sum() for n, m in reguly.items()}))

Maski tylko wskazują rekordy. W głównych danych otrzymasz jeden ujemny wynik produkcji i jeden pomiar drgań powyżej progu, bez pozostałych naruszeń zakresów. Kompletność pól sprawdzaj osobno: porównanie z granicą nie zawsze wychwyci brak.

Co mierzy IQR

Pierwszy kwartyl Q1 i trzeci kwartyl Q3 wyznaczają środkową część rozkładu, obejmującą około 50% obserwacji. Rozstęp międzykwartylowy IQR to różnica Q3 − Q1. Popularna reguła oznacza wartości poniżej Q1 − 1,5 × IQR i powyżej Q3 + 1,5 × IQR. Są to granice wynikające z danych, a nie dopuszczalne granice pracy urządzenia.

Dla drgań Q1 = 1,1320, Q3 = 1,3515, a IQR = 0,2195 mm/s. Granice wynoszą 0,80275 i 1,68075 mm/s. Poza nimi leżą trzy wartości: 0,781, 0,786 i 4,850 mm/s. Reguła wykryła nietypowość — nie rozstrzygnęła jej przyczyny.

Detektor i kontekst urządzenia

def wykryj_iqr(seria):
    q1, q3 = seria.dropna().quantile([0.25, 0.75])
    iqr = q3 - q1
    dolna, gorna = q1 - 1.5 * iqr, q3 + 1.5 * iqr
    flaga = (seria.lt(dolna) | seria.gt(gorna)).fillna(False)
    return flaga, dolna, gorna
 
flaga_drg, dolna, gorna = wykryj_iqr(pomiary_clean["drgania"])
print(dolna, gorna, flaga_drg.sum())
display(pomiary_clean.loc[
    flaga_drg, ["czas", "urzadzenie", "drgania"]
])

W energii kwartyle obliczasz z 718 istniejących wartości. Brak nie jest wartością odstającą. Dla bardzo małej próbki albo zerowego IQR interpretacja tej reguły wymaga dodatkowej ostrożności; funkcja nie staje się przez to uniwersalnym automatem czyszczącym.

Pole

Dolna granica

Górna granica

Liczba sygnałów

temperatura °C

50,525

68,245

0

drgania mm/s

0,803

1,681

3

energia kWh

9,634

18,184

0

produkcja szt. przed korektą

130,5

174,5

1

Dwa niskie wyniki drgań pochodzą z U-01. Dla samego U-01 lokalne granice IQR wynoszą około 0,765–1,309 mm/s. Wartości 0,781 i 0,786 mieszczą się w tym profilu i spełniają regułę nieujemności. W przypadku kursowym klasyfikujesz je jako prawidłowe wartości nietypowe w skali całego zbioru.

Wynik 4,850 mm/s pochodzi z U-05 z 8 lutego o 20:00. Jest pojedynczym skokiem między typowymi pomiarami. Wykres uporządkowany w czasie pozwala to zobaczyć, lecz nie odróżnia błędu czujnika od rzeczywistego zdarzenia. Potrzebne byłyby dziennik zdarzeń, stan czujnika lub zapis źródłowy. Pozostawiasz wartość z klasyfikacją „do sprawdzenia”.

Zmiana jednej wartości zamiast usunięcia wiersza

Produkcja −12 szt. dla U-03 z 2 lutego o 08:00 narusza regułę nieujemnej liczby wyprodukowanych sztuk. Nie masz jednak podstaw, aby wpisać +12, zero ani średnią. Zastępujesz wyłącznie tę komórkę brakiem. Pozostałe pomiary z tego samego rekordu pozostają dostępne.

blad_produkcji = pomiary_clean["produkcja"].lt(0)
assert blad_produkcji.sum() == 1
pomiary_clean.loc[blad_produkcji, "produkcja"] = pd.NA
assert pomiary_clean.shape == (720, 8)
assert pomiary_clean["produkcja"].isna().sum() == 1
assert pomiary_clean["energia"].isna().sum() == 2
assert np.isclose(pomiary_clean["drgania"].max(), 4.85)
assert pomiary_raw["produkcja"].min() == -12

Po korekcie zbiór ma więcej braków niż przed nią, ale wierniej przedstawia dostępną wiedzę: niepoprawna liczba nie udaje już pomiaru. Dlatego zmniejszenie liczby pustych komórek nie może być samodzielnym celem czyszczenia. W dzienniku zachowaj oryginalną wartość, regułę, decyzję i kontrolę.

Gdyby usunąć wszystkie cztery wiersze wskazane przez IQR, zostałoby 716 rekordów. Utracono by poprawne niskie drgania U-01, niewyjaśniony pomiar U-05 oraz poprawne pola z wiersza U-03. Kontrolowane postępowanie zachowuje 720 rekordów, zmienia jedną wartość i dokumentuje trzy decyzje o zachowaniu drgań.

Pomoc modelu językowego

Możesz poprosić LLM o funkcję zwracającą maskę IQR i progi, wyraźnie zakazując usuwania rekordów. Sprawdź kod na danych: oczekujesz trzech sygnałów i granic 0,80275 oraz 1,68075 mm/s. Przyjęcie detektora po teście nie oznacza przyjęcia ewentualnej sugestii automatycznego usuwania. Model proponuje narzędzie, a decyzję uzasadniają dane i reguły.

Ćwiczenie w notebooku

Oblicz granice dla czterech pól liczbowych. Dla U-01 i U-05 narysuj drgania w kolejności czasu, podpisz osie i jednostkę, a następnie porównaj sygnały globalne z lokalnymi. Opisz cztery przypadki: jedną błędną produkcję, jeden skok do sprawdzenia i dwa poprawne niskie pomiary.

Sprawdź rozumienie 5

Dlaczego 0,781 mm/s i 4,850 mm/s, wskazane przez ten sam detektor IQR, prowadzą do różnych klasyfikacji? Czy samo pozostawanie w lokalnym IQR jest gwarancją sprawności urządzenia?