Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
8. Zapis wyników i przygotowanie do modułu 4
Wynik EDA powinien dać się wykorzystać bez odtwarzania ręcznych poprawek. Zachowaj notebook z kodem, tabelami i komentarzami oraz eksporty powiązane z pytaniami. Dane wejściowe w processed pozostają niezmienione. Wykres z rozdziału 6 jest diagnostyczny; finalne wizualizacje i narrację rozwiniesz w M4.
Stałe nazwy i zawartość eksportów
Używaj katalogu outputs/tables, zgodnie z kartami M1–M3. Output/tables ze slajdów i notatek oznacza miejsce o tej samej roli. Nie twórz obu katalogów. Prezentacyjne statystyki_opisowe.csv i energia_miesiac_lokalizacja.csv zapisujemy z prefiksami M3_P01 i M3_P05. W tekście pytanie ma zapis M3-P01, a w nazwie pliku M3_P01.
|
Plik w outputs/tables |
Zawartość |
|---|---|
|
M3_P01_statystyki_opisowe.csv |
Cztery zmienne, statystyki, jednostki i braki |
|
M3_P02_przekroczenia_urzadzenia.csv |
Licznik, mianownik i udział dla urządzeń |
|
M3_P02_przekroczenia_miesiace.csv |
Licznik, mianownik i udział dla okresów |
|
M3_P03_ranking_drgan.csv |
Osiem urządzeń, mediana drgań i liczebność |
|
M3_P04_tryb.csv |
Agregacje energii i produkcji według trybu |
|
M3_P04_typ.csv |
Te same miary według typu urządzenia |
|
M3_P04_typ_tryb.csv |
Te same miary dla kombinacji typu i trybu |
|
M3_P05_energia_miesiac_lokalizacja.csv |
Sześć kombinacji okresu i lokalizacji z medianą i liczebnościami |
|
M3_P06_korelacje.csv |
Zakres, urządzenie, wariant, metoda, n i r |
Notebook pozostaje w notebooks/M3_EDA.ipynb, słownik w docs/slownik_danych.md, a rejestr LLM w docs/rejestr_uzycia_LLM.csv. Wykres pomocniczy zapisujesz jako outputs/figures/M3_P06_temperatura_drgania.png. Pozostałe macierze, kontrole i ćwiczenia mogą pozostać w notebooku.
Nazwy plików nie zawierają spacji ani polskich znaków. Unikaj nazw final, final2 i ostateczny. Prefiks wskazuje moduł i pytanie, a reszta opisuje zawartość. W README.md dopisz sposób uruchomienia M3, wersje bibliotek, listę wyników oraz związek z zatwierdzonym wejściem M2.
Tabele w układzie gotowym do zapisu
W notebooku macierz jest wygodna do porównywania, a w pliku często przydatny jest układ długi: jeden wiersz na kombinację kluczy. Eksport P05 będzie więc zawierał okres, lokalizację, medianę energii oraz obie liczebności. Jest to odpowiednik macierzy z rozdziału 5 wzbogacony o kontrole, a nie inna analiza.
energia_do_zapisu = pomiary_clean.groupby(
["rok_miesiac", "lokalizacja"], as_index=False
).agg(
energia_mediana=("energia", "median"),
rekordy=("urzadzenie", "size"), energia_n=("energia", "count")
)
korelacje = pd.DataFrame([
{"zakres": "caly_zbior", "urzadzenie": "nie_dotyczy",
"wariant": "pelny", "metoda": "pearson", "n": len(pary),
"r": r_pelny},
{"zakres": "caly_zbior", "urzadzenie": "nie_dotyczy",
"wariant": "bez_maksimum", "metoda": "pearson",
"n": len(pary_wariant), "r": r_wariant}
])
lokalne = r_urzadzenia.assign(
zakres="urzadzenie", wariant="pelny", metoda="pearson"
)
korelacje = pd.concat([korelacje, lokalne], ignore_index=True)
eksporty = {
"M3_P01_statystyki_opisowe.csv": statystyki.reset_index(),
"M3_P02_przekroczenia_urzadzenia.csv": przekroczenia_urzadzenia,
"M3_P02_przekroczenia_miesiace.csv": przekroczenia_miesiace,
"M3_P03_ranking_drgan.csv": ranking_urzadzen,
"M3_P04_tryb.csv": wedlug_trybu,
"M3_P04_typ.csv": wedlug_typu,
"M3_P04_typ_tryb.csv": wedlug_typu_trybu,
"M3_P05_energia_miesiac_lokalizacja.csv": energia_do_zapisu,
"M3_P06_korelacje.csv": korelacje
}
Nazwy grup muszą być kolumnami, zanim użyjesz index=False. Dla statystyk reset_index() przenosi nazwę zmiennej z indeksu do pola zmienna. Brak tego kroku pozbawiłby eksport etykiet. Pozostałe tabele przygotowano wcześniej w układzie kolumnowym. Zapis r powinien zawsze zawierać n, zakres i wariant, aby większy współczynnik nie został pomylony z wynikiem pełnym.
Kontrola zapisu i audyt odpowiedzi
TABLES_DIR.mkdir(parents=True, exist_ok=True)
for nazwa, tabela in eksporty.items():
tabela = tabela.reset_index(drop=True).copy()
tabela.to_csv(TABLES_DIR / nazwa, index=False, encoding="utf-8")
odczyt = pd.read_csv(TABLES_DIR / nazwa, encoding="utf-8")
wzorzec = tabela.copy()
for pole in wzorzec.select_dtypes(include="category").columns:
wzorzec[pole] = wzorzec[pole].astype("string")
pd.testing.assert_frame_equal(
wzorzec, odczyt, check_dtype=False,
check_exact=False, rtol=1e-10, atol=1e-10
)
assert sha256(plik.read_bytes()).hexdigest() == hash_wejscia
Ponowny odczyt sprawdza wartości, etykiety i braki, nie tylko liczbę kolumn. CSV nie przechowuje typów Pandas, dlatego kontrola wartości nie wymaga identycznego dtype. Kategorie w kopii wzorcowej porównujemy jako tekst. Tolerancja uwzględnia drobne różnice reprezentacji liczb, a nie merytoryczne rozbieżności. Przy kolejnym wykorzystaniu pliku typy odtworzysz według jego schematu.
Ponowne wykonanie zapisu zastępuje eksporty pod tymi samymi nazwami. Jeśli chcesz zachować wcześniejszy etap, zarchiwizuj go przed uruchomieniem komórek. Nie nadpisuj wejścia pomiary_clean.csv ani wyników poprzednich modułów.
Audyt jednej odpowiedzi
Wybierz jedną z odpowiedzi M3-P01–M3-P06. Wskaż pytanie i kontrakt, konkretny kod oraz wynik, kontrolę liczebności i zakresu, obserwację, interpretację i ograniczenie. Nie wykonujesz nowej analizy. Sprawdzasz, czy osoba czytająca notebook potrafi prześledzić uzasadnienie od pytania do werdyktu.
Gotowość do dalszej pracy
- Sześć pytań ma odpowiedzi, a co najmniej pięć obserwacji wskazuje konkretne wyniki kodu.
- Każda miara ma jednostkę, liczebność i właściwy zakres; procenty mają jawny mianownik.
- Porównania grup zaczynają się od pełnych danych, a nie od filtra przekroczeń.
- Korelacja ma oba warianty, wyniki dla urządzeń i ograniczenie przyczynowości.
- Eksporty odczytują się poprawnie; źródło i zatwierdzony wynik M2 pozostały bez zmian.
- Sugestie LLM mają weryfikację albo odnotowano brak użycia modelu.
Zapisz notebook, wykonaj Restart Kernel and Run All Cells, popraw pierwszy błąd i powtórz przebieg. Po udanym wykonaniu zapisz aktualne wyniki. Do M4 wybierz dwie obserwacje, które warto pokazać na wykresach. Przy każdej wskaż tabelę, jednostkę i ograniczenie, które powinno pozostać widoczne w opisie.