Apache Airflow – orkiestracja przepływów danych

Opis

Zaawansowane szkolenie z orkiestracji przepływów danych przy użyciu Apache Airflow. Program koncentruje się na projektowaniu, implementacji i zarządzaniu złożonymi potokami przetwarzania danych. Uczestnicy poprzez praktyczne warsztaty poznają techniki automatyzacji procesów ETL, monitorowania zadań oraz obsługi błędów. Szkolenie łączy teorię z intensywnymi ćwiczeniami praktycznymi, umożliwiając zdobycie realnego doświadczenia.

Profil uczestnika

• Inżynierowie danych i ETL
• Deweloperzy Python specjalizujący się w data engineering
• Administratorzy systemów Big Data
• Specjaliści DevOps
• Architekci rozwiązań data pipeline
• Analitycy danych z doświadczeniem programistycznym
• Inżynierowie MLOps

Agenda

1. Architektura i komponenty Apache Airflow
• Podstawy architektury i model wykonawczy
• Konfiguracja środowiska produkcyjnego
• Skalowanie i zarządzanie zasobami
• Integracja z zewnętrznymi systemami
2. Projektowanie DAG-ów i operatorów
• Zaawansowane wzorce projektowe DAG-ów
• Tworzenie niestandardowych operatorów
• Implementacja hooks i sensors
• Zarządzanie zależnościami między zadaniami
3. Monitorowanie i obsługa błędów
• Strategie monitorowania wykonania zadań
• Implementacja mechanizmów retry i timeout
• Logowanie i audyt operacji
• Alerting i powiadomienia
4. Optymalizacja i najlepsze praktyki
• Techniki optymalizacji wydajności
• Zarządzanie współbieżnością
• Wersjonowanie i testowanie DAG-ów
• Continuous Deployment dla Airflow

Korzyści

Gruntowna znajomość architektury i mechanizmów działania Apache Airflow. Praktyczne doświadczenie w projektowaniu skalowalnych potoków danych. Umiejętność tworzenia zaawansowanych DAG-ów i niestandardowych komponentów. Zdolność do efektywnego monitorowania i rozwiązywania problemów w przepływach danych. Znajomość najlepszych praktyk w zakresie automatyzacji procesów ETL. Kompetencje w zakresie optymalizacji i zarządzania wydajnością przepływów danych.

Wymagane przygotowanie uczestników

• Znajomość języka Python na poziomie średniozaawansowanym
• Doświadczenie w pracy z systemami przetwarzania danych
• Podstawowa wiedza z zakresu procesów ETL
• Znajomość koncepcji DevOps

Zagadnienia

• Architektura Apache Airflow
• Projektowanie i implementacja DAG-ów
• Operatory i sensory
• Zarządzanie zadaniami i dependencies
• Mechanizmy schedulingu
• Monitoring i obsługa błędów
• Skalowanie i wysoką dostępność
• Wersjonowanie i testowanie
• Continuous Integration/Deployment
• Bezpieczeństwo i kontrola dostępu
• Integracja z systemami zewnętrznymi
• Optymalizacja wydajności

Poznaj naszą firmę