Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
2. Od problemu do pytań analitycznych
Eksploracyjna analiza danych, w skrócie EDA, pomaga poznać strukturę zbioru i wskazać zależności warte dalszego sprawdzenia. Punktem wyjścia jest problem, ale obliczenia wymagają precyzyjniejszego pytania. Zdanie „urządzenia w Hali A działają gorzej” nie określa jeszcze, co mierzyć. Może chodzić o drgania, energię albo produkcję, a każda z tych wielkości prowadzi do innej analizy.
Pytanie „Jak różnią się mediany drgań między lokalizacjami w okresie objętym zbiorem?” określa zmienną, miarę, grupy i zakres. Odpowiedzią będzie jedna mediana oraz liczebność dla każdej lokalizacji. Nadal nie ustalisz w ten sposób przyczyny różnic. Lokalizacje obejmują inne urządzenia, a dane nie zawierają wszystkich warunków ich pracy.
Pytanie opisowe porównawcze i dotyczące zależności
Pytanie opisowe dotyczy tego, co występuje w zbiorze: typowych wartości, rozproszenia albo częstości. Pytanie porównawcze zestawia tę samą miarę w kilku grupach. Pytanie o zależność bada, czy dwie zmienne współzmieniają się w obserwacjach. Dopiero pytanie przyczynowe dotyczyłoby mechanizmu zmiany; prosta korelacja nie daje na nie odpowiedzi.
|
Przykład pytania |
Potrzebne pola |
Oczekiwany wynik |
|---|---|---|
|
Jakie są typowe drgania |
drgania |
Średnia, mediana, rozproszenie i n |
|
Jak różnią się urządzenia |
urzadzenie, drgania |
Ta sama miara dla każdego urządzenia |
|
Czy temperatura współzmienia się z drganiami |
temperatura, drgania |
Wykres, korelacja i liczba kompletnych par |
Jednostka obserwacji i poziom odpowiedzi
Jeden wiersz wejścia oznacza pomiar jednego urządzenia w określonym czasie. Zbiór ma 720 takich rekordów, ale tylko osiem urządzeń. Po agregacji jeden wiersz może opisywać urządzenie, lokalizację albo urządzenie w miesiącu. Poziom agregacji określa, co reprezentuje wynik. Ranking najwyższych pojedynczych pomiarów nie odpowiada na pytanie o najwyższą medianę urządzenia.
Znaczenie miary także zależy od poziomu. Mediana energii opisuje typową energię na interwał pomiarowy, a suma dotyczy łącznej energii w wybranych interwałach. Sumy wymagają porównywalnego zakresu czasu i kontroli braków. W tym module pracujemy na danych dydaktycznych; wartości progowe z ćwiczeń nie są normami technicznymi.
Wspólny rejestr sześciu pytań
W całym module zachowaj poniższe identyfikatory. Rozdział 1 przygotowuje plan wszystkich odpowiedzi. Rozdział 4 obejmuje dwa pytania, dlatego numer pytania nie zawsze jest numerem rozdziału. Własne pytania dopisz jako rozszerzenia, bez zmiany znaczenia M3-P01–M3-P06.
|
ID |
Rozdział |
Pytanie |
|---|---|---|
|
M3-P01 |
2 |
Jakie są typowe wartości i zróżnicowanie temperatury, drgań, energii i produkcji |
|
M3-P02 |
3 |
Które pomiary przekraczają 1,5 mm/s i jak rozkładają się między urządzenia oraz miesiące |
|
M3-P03 |
4 |
Które trzy urządzenia mają najwyższą medianę drgań i z ilu pomiarów obliczono każdą medianę |
|
M3-P04 |
4 |
Jak różnią się mediany energii i produkcji między trybami oraz typami urządzeń |
|
M3-P05 |
5 |
Jak różni się mediana energii w układzie rok_miesiac × lokalizacja |
|
M3-P06 |
6 |
Czy wyższej temperaturze towarzyszą większe wartości drgań |
Kontrakt odpowiedzi i hipoteza robocza
Przed napisaniem kodu zapisz zakres danych i czasu, potrzebne pola, jednostkę obserwacji, poziom grupowania, miarę z jednostką oraz formę wyniku. Dodaj kontrolę, po której poznasz, że odpowiedź jest kompletna. Dla M3-P03 będą to wszystkie osiem urządzeń, liczebność drgań w każdej grupie, pełny ranking median i wskazanie pierwszych trzech pozycji.
Hipoteza robocza jest przewidywaniem zapisanym przed obliczeniem, na przykład „wyższym temperaturom towarzyszą większe drgania”. Ustal także, jaki wynik mógłby jej przeczyć. Po analizie nadaj status: wsparta, niewsparta albo nierozstrzygnięta. Wsparcie hipotezy o współzmienności nie zamienia jej w dowód mechanizmu przyczynowego.
Pola mają różne role. Czas i urzadzenie identyfikują pomiar; rok_miesiac porządkuje okresy; typ_urzadzenia, lokalizacja i tryb określają grupy. Moc nominalna i wiek urządzenia dostarczają kontekstu. Status ma w całym zbiorze wartość OK. Nie ma tu rejestru zdarzeń ani liczby awarii, więc nie sprawdzisz pytania „czy starsze urządzenia częściej się psują”.
Niezależny start notebooka M3
Zachowaj projekt z poprzednich modułów. Notebook M2 dokumentuje przygotowanie danych, a nowy M3 zaczyna od data/processed/pomiary_clean.csv. Nie musi korzystać ze zmiennych zapamiętanych przez M2. Nie powtarzaj czyszczenia wewnątrz EDA i nie nadpisuj zatwierdzonego CSV. Słownik i dziennik decyzji pozwolą wyjaśnić ewentualną niezgodność.
from pathlib import Path
from hashlib import sha256
import pandas as pd
import numpy as np
print("Katalog roboczy:", Path.cwd())
assert Path.cwd().name == "notebooks"
PROJECT_DIR = Path.cwd().parent
TABLES_DIR = PROJECT_DIR / "outputs" / "tables"
FIGURES_DIR = PROJECT_DIR / "outputs" / "figures"
plik = PROJECT_DIR / "data" / "processed" / "pomiary_clean.csv"
assert plik.is_file(), "Najpierw przygotuj i sprawdź wynik M2"
hash_wejscia = sha256(plik.read_bytes()).hexdigest()
pomiary_clean = pd.read_csv(
plik, encoding="utf-8", parse_dates=["czas", "data_instalacji"]
)
KOLUMNY = [
"czas", "rok_miesiac", "urzadzenie", "typ_urzadzenia",
"lokalizacja", "moc_nominalna_kw", "data_instalacji",
"wiek_urzadzenia_dni", "temperatura", "drgania", "energia",
"produkcja", "tryb", "status"
]
assert pomiary_clean.columns.tolist() == KOLUMNY
SCHEMAT_WYNIK = dict.fromkeys([
"rok_miesiac", "urzadzenie", "typ_urzadzenia", "lokalizacja"
], "string")
SCHEMAT_WYNIK.update(dict.fromkeys([
"temperatura", "drgania", "energia", "moc_nominalna_kw"
], "float64"))
SCHEMAT_WYNIK.update({
"produkcja": "Int64", "wiek_urzadzenia_dni": "Int64",
"tryb": "category", "status": "category"
})
pomiary_clean = pomiary_clean.astype(SCHEMAT_WYNIK)
Samo umieszczenie notebooka w folderze notebooks nie gwarantuje, że jest on katalogiem roboczym. Sprawdź Path.cwd(), zamiast wpisywać ścieżkę z dyskiem i nazwą konta. Gdy kontrola zatrzyma wykonanie, popraw punkt startu. Nie przenoś plików przypadkowo, aż program przestanie zgłaszać błąd.
CSV zachowuje wartości tekstowe, ale nie przechowuje schematu Pandas. Dlatego jawnie odtwarzasz daty i typy. Int64 z wielką literą obsługuje brak produkcji. Typ category sam nie potwierdza dozwolonych etykiet; to osobna kontrola w kolejnej sekcji.
Kontrola danych przed pierwszym pytaniem
KLUCZ = ["czas", "urzadzenie"]
assert pomiary_clean.shape == (720, 14)
assert pomiary_clean[KLUCZ].notna().all().all()
assert not pomiary_clean.duplicated(KLUCZ).any()
assert pomiary_clean["urzadzenie"].nunique() == 8
assert pomiary_clean["urzadzenie"].value_counts().eq(90).all()
for pole in ["czas", "data_instalacji"]:
assert pd.api.types.is_datetime64_any_dtype(pomiary_clean[pole])
assert pomiary_clean[pole].notna().all()
assert pomiary_clean["czas"].min().date().isoformat() == "2026-01-01"
assert pomiary_clean["czas"].max().date().isoformat() == "2026-02-14"
assert pomiary_clean["rok_miesiac"].eq(
pomiary_clean["czas"].dt.strftime("%Y-%m")
).all()
assert pomiary_clean["energia"].isna().sum() == 2
assert pomiary_clean["produkcja"].isna().sum() == 1
assert pomiary_clean[["temperatura", "drgania"]].notna().all().all()
assert set(pomiary_clean["tryb"]) == {"auto", "oszczedny"}
assert pomiary_clean["status"].eq("OK").all()
print("SHA-256:", hash_wejscia)
Te liczby odnoszą się do kursowego wyniku M2. Nie są uniwersalną regułą dla każdego zbioru. Dwa braki energii pozostały bez uzupełnienia, a jeden brak produkcji zastępuje błędną wartość −12. Nietypowe drgania 4,850 mm/s zachowano do dalszego sprawdzenia. Zmienna clean oznacza udokumentowany stan danych, a nie brak wszystkich ograniczeń.
Porównaj SHA-256 z wpisem M2 w README.md. Zgodność potwierdza tożsamość pliku, lecz sama nie dowodzi jego jakości. Przy różnicy wróć do procesu przygotowania danych. Pamiętaj również, że luty obejmuje tylko dni 1–14, podczas gdy styczeń jest kompletny. To ograniczenie będzie wracać w porównaniach okresów.
Ćwiczenie w notebooku
Uzupełnij rejestr sześciu pytań o kontrakty odpowiedzi. Do jednego dopisz hipotezę oraz możliwy wynik przeciwny. Jeśli używasz LLM, podaj rzeczywiste nazwy pól i ograniczenia. Odrzuć pytania wymagające liczby awarii, a pytania o przyczyny przepisz na porównania możliwe do sprawdzenia.
Sprawdź rozumienie 1
Czy wybranie trzech najwyższych drgań z 720 rekordów daje odpowiedź na M3-P03? Co powinien reprezentować jeden wiersz właściwego rankingu?