Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
2. Bezpieczne wczytywanie CSV i XLSX
Import jest interpretacją pliku, a nie potwierdzeniem jakości danych. Program może wykonać polecenie bez wyjątku i mimo to zwrócić niewłaściwą tabelę. Dlatego najpierw potwierdzasz źródło, potem parametry odczytu, a na końcu strukturę i próbkę wyniku. Dopiero wszystkie te kontrole pozwalają przyjąć import.
Ścieżka i ochrona źródła
Ścieżki buduj względem katalogu projektu. W poniższym kodzie zakładamy, że bieżącym katalogiem roboczym jest notebooks. Samo umieszczenie tam notebooka nie zawsze wystarcza — sprawdź wynik Path.cwd(). Gdy kontrola zatrzyma wykonanie, popraw katalog roboczy lub jawnie wskaż właściwy katalog projektu, zamiast zgadywać inną nazwę pliku.
from pathlib import Path
import pandas as pd
import numpy as np
print("Katalog roboczy:", Path.cwd())
assert Path.cwd().name == "notebooks"
PROJECT_DIR = Path.cwd().parent
DATA_RAW = PROJECT_DIR / "data" / "raw"
plik_pomiary = DATA_RAW / "pomiary_eksploatacyjne.csv"
plik_urzadzenia = DATA_RAW / "urzadzenia.xlsx"
assert plik_pomiary.is_file()
assert plik_urzadzenia.is_file()
Pliki w data/raw traktuj jako niezmienny punkt odniesienia. Nie poprawiaj ich ręcznie w Excelu i nie zapisuj pod ich nazwami wyników czyszczenia. Kod będzie przekształcać ramki danych w pamięci, a rezultat zapiszesz w data/processed. Dzięki temu błędną decyzję można odrzucić i ponownie rozpocząć pracę od źródła.
Co określają parametry CSV
CSV jest plikiem tekstowym. Parametr sep wskazuje separator kolumn, encoding określa kodowanie znaków, a header — wiersz z nazwami pól. Przy jednym formacie liczb parametr decimal może wskazywać przecinek dziesiętny. Z kolei na_values pozwala dopisać oznaczenia braków, na przykład N/D. Te ustawienia powinny wynikać z formatu źródła, nie z prób wykonywanych aż do zniknięcia komunikatu błędu.
Zbyt szeroka lista na_values może zamienić poprawny tekst na brak. Błędne kodowanie może uszkodzić polskie litery bez przerwania odczytu. Dlatego nawet po udanym imporcie obejrzyj kilka wartości tekstowych i porównaj je z zapisem źródłowym.
Odczyt pomiarów i kontrola struktury
Główny plik pomiarów wykorzystuje przecinek jako separator i kodowanie UTF-8. Puste pola energii są rozpoznawane przez Pandas jako braki. Przyrostek raw w nazwie zmiennej przypomina, że na tym etapie nie poprawiasz zawartości.
pomiary_raw = pd.read_csv(
plik_pomiary, sep=",", encoding="utf-8", header=0
)
OCZEKIWANE = [
"czas", "urzadzenie", "temperatura", "drgania",
"energia", "produkcja", "tryb", "status"
]
assert pomiary_raw.shape == (720, 8)
assert pomiary_raw.columns.tolist() == OCZEKIWANE
display(pomiary_raw.head(3))
Wynik powinien mieć 720 wierszy i osiem osobnych kolumn. W próbce sprawdź, czy czas trafił do czasu, identyfikator do urządzenia, a wartości pomiarów do właściwych pól. Rozmiar i nazwy są kontrolowane automatycznie; odczyt próbki uzupełnia je o ocenę sensu struktury. Trzy poprawne wiersze nie dowodzą jednak poprawności pozostałych 717.
Eksperyment z separatorem wykonaj w odrębnej zmiennej. Nie zastępuj poprawnego importu wynikiem tej próby.
pomiary_bledny = pd.read_csv(plik_pomiary, sep=";")
print(pomiary_bledny.shape)
print(pomiary_bledny.columns.tolist())
Otrzymasz 720 × 1. Cały nagłówek zostanie jedną długą nazwą kolumny, a rekordy pozostaną nierozdzielonym tekstem. Parser postąpił zgodnie z parametrem, ale parametr nie odpowiadał źródłu. Taki import odrzucasz, mimo że nie wystąpił wyjątek.
Nagłówek i komunikaty diagnostyczne
Ustawienie header=None oznacza brak wiersza nazw. W pliku, który ma nagłówek, dotychczasowe nazwy staną się wtedy pierwszym rekordem danych. Jeżeli pojawi się FileNotFoundError, zacznij od ścieżki i is_file(). Przy UnicodeDecodeError sprawdź kodowanie źródła. Jedna kolumna zamiast ośmiu kieruje uwagę na separator. Każdy sygnał wskazuje kontrolę do wykonania, ale sam nie stanowi gotowej diagnozy.
Skoroszyt wymaga wyboru arkusza
XLSX może zawierać kilka arkuszy o różnych rolach. W pliku urzadzenia.xlsx pierwszy arkusz nazywa się opis, a dopiero drugi zawiera kartotekę. Domyślne read_excel() odczytuje pierwszy arkusz: w tym przypadku dałoby tabelę 16 × 2, poprawnie odczytaną technicznie, lecz nieodpowiednią do łączenia z pomiarami.
with pd.ExcelFile(plik_urzadzenia) as xls:
print(xls.sheet_names)
urzadzenia_raw = pd.read_excel(
plik_urzadzenia, sheet_name="urzadzenia"
)
META_RAW = [
"urzadzenie", "typ", "lokalizacja",
"moc_nominalna_kw", "data_instalacji"
]
assert urzadzenia_raw.shape == (8, 5)
assert urzadzenia_raw.columns.tolist() == META_RAW
display(urzadzenia_raw.head(3))
Wynik zawiera osiem urządzeń i pięć pól. Nazwa arkusza jest częścią kontraktu importu. W innych skoroszytach potrzebne mogą być także header i usecols, jeżeli tabelę poprzedza opis albo chcesz ograniczyć odczyt do określonych kolumn. Błąd dotyczący openpyxl wskazuje na brak biblioteki w używanym środowisku, nie na potrzebę zmiany danych.
Decyzja po imporcie
W notebooku dodaj komórkę Markdown „Decyzja po imporcie”. Wskaż nazwę i lokalizację pliku, użyte parametry, rozmiar wyniku, zgodność nazw kolumn oraz wniosek z próbki. Dla CSV zapisz, że import z przecinkiem przyjęto, a wariant ze średnikiem odrzucono. Dla XLSX potwierdź jawny wybór arkusza urzadzenia.
Przyjęcie importu oznacza, że masz właściwie odczytaną tabelę. Nie oznacza, że jej daty, kategorie i wartości są już gotowe do analizy. To rozróżnienie pozwala później ustalić, czy problem powstał podczas interpretacji formatu, czy był obecny w samej zawartości.
Ćwiczenie w notebooku
Porównaj poprawny i błędny separator CSV oraz domyślny i jawny wybór arkusza XLSX. Dla każdego wariantu zapisz trzy dowody: rozmiar, nazwy kolumn i próbkę. Sprawdź, czy twoje uzasadnienie pozwala innej osobie odtworzyć decyzję bez oglądania prezentacji.
Sprawdź rozumienie 1
Plik zwrócił oczekiwane 720 rekordów, ale tylko jedną kolumnę. Czy możesz rozpocząć audyt wartości? Uzasadnij odpowiedź i wskaż pierwszą kontrolę, którą wykonasz.