Optymalizacja pracy z Pandas przy użyciu Modin

Opis

Szkolenie koncentruje się na zwiększaniu wydajności przetwarzania danych w środowisku Python poprzez wykorzystanie biblioteki Modin jako rozszerzenia dla Pandas. Program obejmuje zarówno teoretyczne podstawy przetwarzania równoległego, jak i praktyczne aspekty optymalizacji istniejącego kodu. Uczestnicy poznają techniki efektywnego przetwarzania dużych zbiorów danych, uczą się identyfikować wąskie gardła wydajnościowe i je eliminować. Zajęcia prowadzone są w formie warsztatów, gdzie teoria jest natychmiast weryfikowana na rzeczywistych zbiorach danych.

Profil uczestnika

• Analitycy danych pracujący z dużymi zbiorami
• Data Scientists wykorzystujący Pandas
• Programiści Python optymalizujący kod
• Inżynierowie ML pracujący nad przetwarzaniem danych
• Specjaliści Big Data
• Deweloperzy aplikacji analitycznych
• Naukowcy zajmujący się analizą danych
• Architekci rozwiązań data science

Agenda

1. Wprowadzenie do Modin
• Architektura i zasady działania
• Integracja z Pandas
• Różnice i podobieństwa
• Przygotowanie środowiska
2. Optymalizacja operacji
• Przetwarzanie równoległe
• Operacje na ramkach danych
• Agregacje i grupowanie
• Zarządzanie pamięcią
3. Zaawansowane techniki
• Przetwarzanie strumieni danych
• Optymalizacja zapytań
• Profilowanie wydajności
• Debugowanie problemów
4. Wdrażanie i integracja
• Migracja istniejącego kodu
• Integracja z ekosystemem
• Monitorowanie wydajności
• Najlepsze praktyki

Korzyści

Po ukończeniu szkolenia uczestnik będzie potrafił efektywnie wykorzystywać bibliotekę Modin do optymalizacji przetwarzania danych w Python. Zdobędzie umiejętność identyfikacji i eliminacji wąskich gardeł w kodzie wykorzystującym Pandas. Nauczy się projektować wydajne rozwiązania do przetwarzania dużych zbiorów danych. Będzie w stanie przeprowadzać migrację istniejącego kodu Pandas do rozwiązań wykorzystujących Modin. Opanuje techniki debugowania i profilowania wydajności w kontekście przetwarzania danych. Zdobędzie praktyczną wiedzę o zarządzaniu pamięcią w aplikacjach analitycznych. Nauczy się optymalizować operacje na ramkach danych w środowisku rozproszonym.

Wymagane przygotowanie uczestników

• Praktyczna znajomość Pythona i Pandas
• Doświadczenie w analizie danych
• Podstawowa wiedza o przetwarzaniu równoległym
• Znajomość zagadnień wydajności aplikacji

Zagadnienia

• Architektura Modin
• Przetwarzanie równoległe
• Optymalizacja wydajności
• Zarządzanie pamięcią
• Profilowanie kodu
• Debugowanie wydajności
• Integracja systemów
• Przetwarzanie strumieni
• Migracja kodu
• Monitorowanie aplikacji
• Najlepsze praktyki
• Wzorce projektowe

Poznaj naszą firmę