Przegląd sekcji

  • W module przedstawione zostaną czysto praktyczne aspekty wykorzystania modeli sieci neuronowych. Przedstawione zostaną formaty służące do zapisu i przenoszenia modeli między środowiskami wykonania. Przedstawiony zostanie TorchScript umożliwiający serializację modeli utworzonych z wykorzystaniem biblioteki PyTorch. Przedstawione zostaną podstawy formatu ONNX, będący otwartym standardem reprezentacji modelu uczenia maszynowego, który zapewnia interoperacyjność między różnymi środowiskami. Przedstawione zostaną sposoby eksportu modelu do obu formatów. Przedstawiony zostanie problem optymalizacji modelu pod kątem wydajności wnioskowania. Omówiona zostanie kwantyzacja, czyli technika redukcji precyzji liczb z typowego 32-bitowego formatu zmiennoprzecinkowego do mniejszych formatów, takich jak 8-bitowe liczby całkowite. W części praktycznej pokazany zostanie proces konwersji modelu do formatu TorchScript oraz ONNX. Przeprowadzone zostanie badanie czasu ładowania poszczególnych reprezentacji. Pokazane zostaną techniki kwantyzacji współczynników sieci po jej wytrenowaniu oraz jej wpływ na dokładność oraz czas wnioskowania modelu.