Podstawy AWS Glue

Opis

Szkolenie wprowadzające do AWS Glue, skupiające się na praktycznym wykorzystaniu tego serverless serwisu ETL. Uczestnicy poznają proces projektowania, implementacji i zarządzania przepływami danych w chmurze AWS. Program łączy teorię z intensywnymi warsztatami praktycznymi, umożliwiając samodzielne tworzenie i optymalizację rozwiązań ETL w środowisku produkcyjnym.

Profil uczestnika

• Inżynierowie danych rozpoczynający pracę z AWS
• Deweloperzy ETL migrujący do chmury
• Architekci rozwiązań chmurowych
• Analitycy danych pracujący z big data
• Specjaliści ds. integracji systemów
• Administratorzy baz danych
• Inżynierowie DevOps zainteresowani automatyzacją ETL
• Programiści Python pracujący z danymi

Agenda

1. Wprowadzenie do AWS Glue
   • Architektura serwisu
   • Katalog danych i crawlery
   • Integracja z serwisami AWS
   • Bezpieczeństwo i zarządzanie dostępem
2. Tworzenie zadań ETL
   • Implementacja transformacji danych
   • Praca z różnymi źródłami danych
   • Debugowanie i monitorowanie
   • Obsługa błędów i retry policy
3. Automatyzacja i orkiestracja
   • Wyzwalacze i harmonogramy
   • Workflow i zależności
   • Integracja z AWS Step Functions
   • Monitorowanie przepływów pracy
4. Optymalizacja i najlepsze praktyki
   • Wydajność zadań ETL
   • Zarządzanie kosztami
   • Skalowanie rozwiązań
   • Testowanie i walidacja

Korzyści

• Umiejętność projektowania rozwiązań ETL w AWS Glue
• Znajomość automatyzacji procesów przetwarzania danych
• Zdolność optymalizacji kosztów i wydajności
• Umiejętność integracji z ekosystemem AWS
• Wiedza o zarządzaniu bezpieczeństwem danych
• Znajomość najlepszych praktyk ETL w chmurze
• Umiejętność monitorowania i debugowania zadań
• Certyfikat potwierdzający zdobyte umiejętności

Wymagane przygotowanie uczestników

• Podstawowa znajomość AWS
• Doświadczenie w pracy z danymi
• Znajomość podstaw Pythona
• Rozumienie procesów ETL

Zagadnienia

• Architektura AWS Glue
• AWS Glue Data Catalog
• Crawlery i klasyfikatory
• Transformacje danych
• Wyzwalacze i harmonogramy
• Bezpieczeństwo w AWS Glue
• Integracja z S3
• Monitorowanie i logging
• Optymalizacja kosztów
• Workflow orchestration
• Debugowanie zadań
• Najlepsze praktyki DevOps

Poznaj naszą firmę