Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki

5. Stan sesji i odtwarzalność

Dobrze uporządkowane pliki nie gwarantują jeszcze odtwarzalności. Notebook Jupyter działa wraz z kernelem, czyli aktywną sesją Pythona. Kernel przechowuje zmienne, importy, funkcje i inne obiekty. Notebook może wyglądać poprawnie, a mimo to działać wyłącznie dzięki pamięci pozostawionej przez wcześniejsze eksperymenty.

Dokument i sesja to dwie różne rzeczy

Plik notebooka

Pamięć kernela

Kod, Markdown, zapisane wyniki i numery wykonania

Zmienne, importy, funkcje, obiekty i stan generatora liczb losowych

Pozostaje po restarcie kernela

Jest usuwana po restarcie kernela

Może pokazywać nieaktualny wynik

Może zawierać obiekt utworzony przez niewidoczny już kod

Usunięcie komórki z notebooka nie usuwa zmiennej, którą utworzyła wcześniej wykonana wersja tej komórki. Dlatego notebook może działać dzięki informacjom, których nie ma w jego aktualnej treści. Zrestartowanie kernela usuwa tę różnicę: pozostaje tylko to, co zostanie utworzone przez widoczny kod.

Sygnały ostrzegawcze

  • Numery In nie rosną od góry do dołu. Pokazują historię wykonania, a nie kolejność komórek w dokumencie.
  • Komórka używa zmiennej, która jest definiowana niżej. W bieżącej sesji może działać, po restarcie zgłosi NameError.
  • Kod i zapisany pod nim wynik sobie przeczą. Na przykład head(3) nie może aktualnie zwracać pięciu wierszy.
  • Wynik losowej operacji zmienia się między uruchomieniami bez jawnie ustalonego ziarna.

Test czystej sesji

  1. Zapisz aktualną wersję notebooka.
  2. Zrestartuj kernel, aby wyczyścić pamięć sesji.
  3. Wykonaj wszystkie komórki od pierwszej do ostatniej.
  4. Zatrzymaj się przy pierwszym błędzie i ustal jego przyczynę.
  5. Sprawdź najważniejsze wyniki oraz zapisz notebook po poprawnym przebiegu.

W JupyterLab polecenie zwykle nosi nazwę Restart Kernel and Run All Cells. Notebook jest odtwarzalny w przygotowanym środowisku projektu wtedy, gdy po takim przebiegu nie wymaga dodatkowych, ręcznych działań ani wiedzy autora o kolejności komórek.

Losowość i środowisko

SEED = 42
probka = df.sample(n=3, random_state=SEED)
 
import platform, pandas as pd
print(platform.python_version())
print(pd.__version__)

Ustalone ziarno nie poprawia jakości analizy. Pozwala powtórzyć ten sam losowy wybór. Odtwarzalność wymaga też opisu środowiska: wersji Pythona, wybranego kernela i najważniejszych bibliotek. W projekcie zapisz je dodatkowo w requirements.txt.

Ćwiczenie Diagnostyka notebooka

Wybierz notebook, który pozornie działa, i wykonaj test czystej sesji.

  1. Przed uruchomieniem obejrzyj numery wykonania i zapisane wyniki.
  2. Wykonaj Restart and Run All.
  3. Zapisz pierwszy błąd i nazwij jego typ: NameError, FileNotFoundError lub ModuleNotFoundError.
  4. Usuń przyczynę błędu przed pierwszym miejscem użycia i powtórz test.
  5. Sprawdź, czy istotne operacje losowe mają random_state oraz czy opisano wersje bibliotek.

Sprawdź się: Nie poprawiaj numerów komórek ani widocznych wyników ręcznie. Wygeneruj je ponownie.