Szkolenie DeepSpeed – optymalizacja wydajności deep learning

Szkolenie koncentruje się na wykorzystaniu frameworka DeepSpeed do optymalizacji modeli uczenia głębokiego. Podczas warsztatów praktycznych uczestnicy poznają zaawansowane techniki optymalizacji wydajności trenowania modeli głębokich sieci neuronowych. Zajęcia prowadzone są w formie interaktywnych warsztatów, gdzie teoria jest natychmiast weryfikowana w praktyce poprzez implementację rzeczywistych przypadków użycia.

• Inżynierów uczenia maszynowego pracujących nad dużymi modelami AI
• Deweloperów sztucznej inteligencji chcących poprawić wydajność swoich modeli
• Specjalistów MLOps poszukujących rozwiązań optymalizacyjnych
• Architektów rozwiązań AI odpowiedzialnych za skalowalność systemów
• Programistów Python specjalizujących się w deep learning
• Badaczy i naukowców pracujących z modelami uczenia głębokiego
• Inżynierów DevOps zajmujących się infrastrukturą AI

1. Wprowadzenie do DeepSpeed
• Architektura i podstawowe komponenty
• Kluczowe funkcje i możliwości
• Integracja z popularnymi frameworkami
• Przygotowanie środowiska deweloperskiego
2. Techniki optymalizacji pamięci
• Zero Redundancy Optimizer (ZeRO)
• Optymalizacja gradientów
• Zarządzanie pamięcią GPU
• Techniki compresji modeli
3. Równoległe przetwarzanie
• Trening rozproszony
• Pipeline parallelism
• Tensor parallelism
• Optymalizacja komunikacji między węzłami
4. Zaawansowane techniki optymalizacji
• Adaptive gradient methods
• Mixed precision training
• Checkpoint optimization
• Dynamic batch sizing

Po ukończeniu szkolenia uczestnik będzie potrafił efektywnie wykorzystywać DeepSpeed do optymalizacji procesu trenowania modeli deep learning. Zdobędzie umiejętność implementacji zaawansowanych technik optymalizacji pamięci i wydajności w projektach AI. Nauczy się konfigurować i zarządzać rozproszonymi systemami trenowania modeli. Będzie w stanie skutecznie redukować zużycie zasobów obliczeniowych przy zachowaniu wysokiej jakości modeli. Zyska praktyczną wiedzę z zakresu skalowania treningu deep learning na klastrach obliczeniowych. Opanuje techniki debugowania i rozwiązywania problemów wydajnościowych w dużych modelach AI.

• Praktyczna znajomość Python na poziomie średniozaawansowanym
• Podstawowa wiedza z zakresu deep learning i sieci neuronowych
• Doświadczenie w pracy z frameworkami uczenia maszynowego (PyTorch, TensorFlow)
• Znajomość zagadnień związanych z obliczeniami rozproszonymi

• Architektura i komponenty DeepSpeed
• Zero Redundancy Optimizer (ZeRO)
• Distributed training strategies
• Pipeline parallelism
• Tensor parallelism
• Mixed precision training
• Gradient checkpointing
• Memory optimization techniques
• Model compression
• Batch size optimization
• Communication optimization
• Performance debugging