Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
3. Rola ograniczenia i bezpieczeństwo LLM
LLM tworzy odpowiedź na podstawie dostępnego mu kontekstu. Sprawny język nie potwierdza, że model zna Twój zbiór, uruchomił kod lub sprawdził wynik. Zdanie „analiza wykazała” może być jedynie wiarygodnie brzmiącym tekstem. Najpierw zapytaj więc: „skąd pochodzi to twierdzenie?”.
Co model faktycznie otrzymał
Kontekst może obejmować polecenie, kod, błąd, schemat, tabelę, załącznik lub wynik narzędzia. Jego zakres zależy od środowiska i rzeczywiście przekazanych materiałów. Nazwa pomiary_clean.csv nie przekazuje zawartości pliku, a nazwa df nie daje dostępu do pamięci kernela Jupyter.
Rozróżniaj trzy sytuacje: model proponuje kod bez danych, interpretuje podane mu wyniki albo korzysta z narzędzia, które rzeczywiście coś obliczyło. W pierwszej sytuacji nie ma podstaw do podawania konkretnych median. W drugiej może opisać udostępnioną tabelę, ale nie powinien dopisywać niewidocznych zależności. W trzeciej nadal potrzebujesz informacji o wejściu, wykonanej operacji i rezultacie narzędzia.
W praktyce pomocne jest zdanie otwierające prompt: „Nie masz dostępu do mojego pliku ani kernela. Otrzymujesz wyłącznie schemat i kod poniżej”. Nie stanowi ono gwarancji prawidłowej odpowiedzi, lecz jasno wyznacza granicę zadania. Po odpowiedzi sprawdź, czy model tej granicy nie przekroczył.
Trzy typowe błędy
|
Rodzaj błędu |
Przykład |
Właściwa kontrola |
|---|---|---|
|
Wymyślony schemat |
Użycie drgania_mm_s zamiast istniejącego drgania |
Porównanie z df.columns i słownikiem |
|
Wymyślona operacja |
Wywołanie nieistniejącej metody biblioteki |
Sprawdzenie dostępnej funkcji i mały test w środowisku |
|
Wymyślony wynik |
Podanie korelacji bez danych ani wyniku obliczeń |
Samodzielne obliczenie na określonych parach |
Nawet kod, który się wykonuje, może być niepoprawny dla pytania. Jeśli prosisz o medianę energii według typu urządzenia, a odpowiedź liczy średnią po globalnym usunięciu braków, otrzymujesz odpowiedź na inne pytanie. Brak wyjątku potwierdza tylko możliwość wykonania programu, nie zgodność metody z Twoim celem.
Dobieranie zadania do ryzyka
Dobrym pierwszym zastosowaniem jest zadanie wąskie, odwracalne i łatwe do sprawdzenia. Wyjaśnienie komunikatu błędu albo przygotowanie szkicu testu zwykle pozwala ograniczyć kontekst do schematu i krótkiego fragmentu kodu. Znacznie większej ostrożności wymagają zmiany danych, dobór metody statystycznej i interpretacja przyczyn.
|
Klasa zastosowania |
Przykład w kursie |
Warunek decyzji |
|---|---|---|
|
Odpowiednie |
Wyjaśnienie KeyError; szkic opisu zweryfikowanego wykresu |
Potrafisz sprawdzić rezultat i ograniczyć kontekst |
|
Ryzykowne |
Propozycja agregacji, czyszczenia lub hipotezy |
Weryfikujesz założenia, skutki i granice wniosku |
|
Niedopuszczalne w danym zadaniu |
Przekazanie nieuprawnionych danych; automatyczna decyzja o wyłączeniu urządzenia |
Nie wykonujesz działania; zmieniasz zakres zadania |
Klasa opisuje zastosowanie w określonych warunkach, a nie stałą ocenę modelu. Pomysł na agregację może być użyteczny jako propozycja do sprawdzenia, a niedopuszczalny jako automatyczna ingerencja w dane bez kontroli. Koszt pomyłki i możliwość jej wykrycia są ważniejsze niż długość odpowiedzi.
Minimalny kontekst i bezpieczne środowisko
Przekazuj najpierw cel i schemat, następnie tylko potrzebny kod albo zweryfikowane agregaty. Jeżeli do odtworzenia błędu potrzebne są wartości, rozważ mały przykład syntetyczny, jednoznacznie oznaczony jako wymyślony do testu. Pełne rekordy są ostatnim, a nie domyślnym poziomem kontekstu. Usunięcie imienia czy nazwy firmy nie musi wystarczyć: kombinacja dat, lokalizacji i identyfikatorów także może ujawniać informacje.
Przed pracą sprawdź, czy wybrane środowisko i zakres danych są dopuszczone w Twojej organizacji. Uwzględnij uprawnienia, historię rozmów, logi, załączniki i ewentualne narzędzia z dostępem do plików. Model uruchamiany lokalnie nie oznacza automatycznie braku połączeń zewnętrznych; usługa zdalna nie zwalnia z oceny ustawień i zasad przetwarzania. W razie braku pewności pozostań przy schemacie i danych syntetycznych.
Nie przekazuj haseł, kluczy dostępu, danych osobowych ani poufnych materiałów bez właściwej podstawy i zgody na taki sposób użycia. Nie uruchamiaj bez przeglądu kodu kasującego pliki, pobierającego zawartość z sieci lub instalującego dodatkowe pakiety. W tym module wystarcza kontrolowane środowisko analityczne i lokalne dane kursowe.
Mapa zastosowań przed pierwszym promptem
Mapa pomaga zdecydować, czego w ogóle nie przekazywać modelowi. Zapisz dla zadania: cel, oczekiwany rezultat, klasę ryzyka, minimalny kontekst, środowisko, sposób sprawdzenia i decyzję. Taka kolejność ogranicza pokusę wysłania całego notebooka, zanim ustalisz, czego potrzebujesz.
|
Zadanie |
Ocena w module |
Uzasadnienie i kontrola |
|---|---|---|
|
M5-U01 Naprawa KeyError |
Odpowiednie |
Schemat i kod wystarczą; test rankingu i niezmienności df |
|
M5-U02 Korelacje w urządzeniach |
Ryzykowne |
Pomysł wymaga kontroli par, grup, wykresów i języka wniosku |
|
M5-U03 Porównanie trybów |
Ryzykowne |
Nazwa trybu nie dowodzi efektu; porównanie rozkładów i grup |
|
M5-U04 Opis wykresu |
Odpowiednie warunkowo |
Udostępniasz sprawdzone wyniki i ograniczenia; kontrolujesz każde zdanie |
|
M5-U05 Dane pracowników |
Niedopuszczalne bez uprawnienia |
Wysyłanie danych do niezatwierdzonej usługi wykracza poza ćwiczenie |
|
M5-U06 Wyłączenie urządzenia |
Niedopuszczalne jako decyzja LLM |
Brak dowodów diagnostycznych i uprawnienia do działania |
To przykład mapy dla tego projektu, nie uniwersalna lista zakazów dla wszystkich analiz. Dla własnego zadania zmienią się kontekst, koszt błędu i warunki dopuszczenia. Zachowaj przynajmniej jeden przypadek odrzucony: umiejętność niewykorzystania LLM tam, gdzie nie jest potrzebny lub bezpieczny, jest częścią kompetencji analityka.
Oczekiwany efekt pracy
Po tym rozdziale umiesz wskazać jeden wybrany przypadek, podać jego minimalny kontekst i zaplanować kontrolę wyniku. Dla M5-U01 będzie to błąd nazwy kolumny w rankingu median drgań. Model nie potrzebuje ani pełnego CSV, ani kartoteki urządzeń, żeby zasugerować poprawkę. Do stwierdzenia, że poprawka działa na danych, potrzebny jest już Twój notebook.
Sprawdź rozumienie 1
W promptcie podano nazwę pliku i prośbę o ranking. Model zwrócił osiem urządzeń z dokładnymi medianami, ale nie otrzymał danych i nie użył narzędzia do ich odczytu. Co możesz potraktować jako propozycję, a czego nie możesz uznać za wynik analizy? Jak zmniejszyć kontekst, jeśli chcesz jedynie naprawić nazwę kolumny?