Zadanie 2 - Przygotowanie danych
Zadanie 2: Przygotowanie danych o dostawach
Terminowość dostaw sklepu internetowego
Zadanie nieobowiązkowe i bez oceny. Pracuj we własnym tempie. Orientacyjny czas: 75–100 min. Dane v1.0 • Karta v1.0
Pierwszy wynik dotyczył jednego magazynu. Teraz przygotuj pełny zbiór do porównań. Twoje decyzje o brakach, duplikatach i datach wpłyną na wszystkie późniejsze wyniki, dlatego muszą być widoczne i odtwarzalne.
Cel i rezultat
Utworzysz zamowienia_clean.csv i dziennik decyzji jakościowych, zachowując niezmienione źródła.
Zanim zaczniesz
Kontynuuj projekt z C1. Korzystaj z data/raw/zamowienia.csv oraz data/raw/magazyny.xlsx, arkusz magazyny, w wersji danych 1.0.
Stosuj reguły docs/slownik_danych.md. Utwórz notebooks/C2_przygotowanie_danych.ipynb; importy i ścieżki zdefiniuj w nim od nowa.
Ścieżki w karcie są względne wobec folderu terminowosc_dostaw. Plików w data/raw nie zmieniaj.
1 Wykonaj audyt przed zmianami
Wczytaj CSV i XLSX. Sprawdź nazwy kolumn, typy, braki, pełne duplikaty, powtarzające się id_zamowienia i warianty kategorii. Zapisz liczebności przed każdą zmianą. Kartoteka powinna mieć niepuste, unikalne magazyn_id.
2 Uporządkuj rekordy i zapis kategorii
Zredukuj tylko pełne duplikaty. Jeśli jeden identyfikator ma sprzeczne rekordy, zatrzymaj się i opisz konflikt. Usuń skrajne spacje i uzgodnij wielkość liter w magazyn_id, przewoznik i tryb_dostawy. Po normalizacji ponownie sprawdź unikalność id_zamowienia. Nie zgaduj nieznanych kategorii.
3 Sprawdź wartości i daty
Przekształć trzy pola dat według formatu YYYY-MM-DD HH:MM oraz cztery wielkości liczbowe według słownika. Sprawdź dodatniość liczb i całkowitość liczba_sztuk. Termin lub doręczenie wcześniejsze od złożenia są niewiarygodne. Uwzględnij koniec obserwacji: 15.03.2026 o 23:59.
Brakujące i niewiarygodne pola pozostaw jako brak, z uzasadnieniem powiązanym z id_zamowienia. Nie usuwaj całego zamówienia z powodu jednej wadliwej wartości. Nie imputuj zer ani dat. Duże poprawne wartości zachowaj; sygnał IQR sam nie dowodzi błędu.
Połączenie i zapis sprawdzonego zbioru
4 Połącz dane i utwórz wskaźniki
Połącz zamówienia z kartoteką po magazyn_id w relacji wiele do jednego, zachowując zamówienia. Sprawdź pełne dopasowanie oraz brak wzrostu liczby wierszy. Według słownika utwórz czas_realizacji_h, roznica_wzgledem_terminu_h, opoznienie_h, czy_opoznione i tydzien_zlozenia.
Nieznany status ma pozostać brakiem, nie False; typ logiczny musi dopuszczać brak. Dostawa dokładnie w terminie nie jest opóźniona. Tydzień wyznaczaj według daty złożenia, od poniedziałku.
5 Udokumentuj i zweryfikuj eksport
W outputs/tables/C2_audyt_jakosci.csv zapisz dla każdego problemu: pole lub kontrolę, liczbę przypadków przed i po zmianie, decyzję oraz uzasadnienie. Ślad dotyczący konkretnych zamówień zachowaj w uwagi_jakosc albo dzienniku w notebooku.
Zapisz data/processed/zamowienia_clean.csv jako UTF-8, z nagłówkiem i bez indeksu. Odczytaj go ponownie, odtwarzając typy dat, liczb i statusu. Porównaj liczbę wierszy, klucze, braki i wartości wskaźników z tabelą przed zapisem. Puste uwagi_jakosc oznaczają brak uwagi, nie wadę rekordu.
6 Uruchom całość od początku
Zapisz notebook, uruchom ponownie kernel i wszystkie komórki od początku. Usuń przyczynę pierwszego błędu i powtórz pełny przebieg. Zapisz notebook z aktualnymi wynikami. Potwierdź, że źródła raw nie zostały nadpisane.
Jeśli korzystasz z LLM, dopisz użycie i sposób sprawdzenia do docs/rejestr_uzycia_LLM.csv. W przeciwnym razie odnotuj w notebooku, że LLM nie był używany.
Co otrzymujesz
Spakuj poniższe pliki jako C2_rozwiazanie.zip, zachowując ścieżki wewnątrz archiwum. ZIP zapisz poza projektem jako archiwum.
notebooks/C2_przygotowanie_danych.ipynb
data/processed/zamowienia_clean.csv
outputs/tables/C2_audyt_jakosci.csv
Jeśli uzupełniasz rejestr LLM, dołącz również docs/rejestr_uzycia_LLM.csv. Pozostałe pliki zachowaj w projekcie.
Samokontrola
- Klucze zamówień są unikalne, a połączenie nie mnoży rekordów.
- Nieznane daty i statusy pozostają nieznane; decyzje są udokumentowane.
- Ponowny odczyt CSV zachowuje znaczenie pól i wyniki kontroli.
Krótka refleksja w notebooku: Która decyzja może zmienić mianownik odsetka opóźnień? Wyjaśnij ją jednym zdaniem.
Zapisany zbiór będzie jedynym przygotowanym wejściem do C3. Jeśli zmienisz reguły C2, wykonaj ponownie wszystkie późniejsze etapy.
Dla chętnych: potwierdź niezmienność obu źródeł przez SHA-256 z docs/SHA256SUMS.txt.