Samza – przetwarzanie strumieni danych

Opis

Szkolenie koncentruje się na praktycznym wykorzystaniu Apache Samza w przetwarzaniu strumieni danych w czasie rzeczywistym. Uczestnicy poprzez warsztaty praktyczne poznają architekturę i komponenty systemu Samza oraz zdobędą umiejętności projektowania i implementacji rozwiązań do przetwarzania strumieni. Zajęcia prowadzone są w formie warsztatowej, gdzie 70% czasu poświęcone jest na ćwiczenia praktyczne.

Profil uczestnika

• Programiści Java zainteresowani przetwarzaniem strumieni danych
• Architekci systemów Big Data
• Inżynierowie danych pracujący z systemami strumieniowymi
• Deweloperzy systemów rozproszonych
• Specjaliści ds. integracji danych
• Administratorzy platform Big Data
• Analitycy danych poszukujący wiedzy o przetwarzaniu strumieniowym

Agenda

1. Wprowadzenie do Apache Samza
• Architektura i komponenty systemu
• Model przetwarzania strumieni
• Integracja z ekosystemem Hadoop
• Porównanie z innymi systemami strumieniowymi
2. Podstawy przetwarzania strumieni w Samza
• Konfiguracja środowiska
• Tworzenie zadań strumieniowych
• Zarządzanie stanami w aplikacji
• Obsługa zdarzeń i komunikatów
3. Zaawansowane techniki przetwarzania
• Implementacja własnych procesorów
• Zarządzanie przepływem danych
• Mechanizmy buforowania
• Optymalizacja wydajności
4. Produkcyjne wdrożenie aplikacji
• Monitorowanie i debugowanie
• Skalowanie aplikacji
• Zabezpieczanie strumieni danych
• Najlepsze praktyki operacyjne

Korzyści

Uczestnik będzie potrafił samodzielnie projektować i implementować rozwiązania do przetwarzania strumieni danych w Apache Samza. Zdobędzie praktyczne umiejętności w zakresie optymalizacji i monitorowania wydajności aplikacji strumieniowych. Rozwinie kompetencje w obszarze integracji Samza z innymi narzędziami ekosystemu Big Data. Nauczy się efektywnie zarządzać stanami w aplikacjach strumieniowych i wdrażać rozwiązania w środowisku produkcyjnym. Zdobędzie wiedzę o najlepszych praktykach w projektowaniu architektury systemów przetwarzania strumieni. Pozna zaawansowane techniki debugowania i rozwiązywania problemów w aplikacjach Samza.

Wymagane przygotowanie uczestników

• Praktyczna znajomość języka Java
• Podstawowa wiedza z zakresu systemów rozproszonych
• Doświadczenie w pracy z systemami kolejkowania wiadomości
• Znajomość podstaw architektury systemów Big Data

Zagadnienia

• Architektura i komponenty Apache Samza
• Modele przetwarzania strumieni danych
• Zarządzanie stanami w aplikacjach strumieniowych
• Integracja z ekosystemem Hadoop
• Mechanizmy buforowania i kolejkowania
• Techniki optymalizacji wydajności
• Monitorowanie i debugowanie aplikacji
• Skalowanie systemów strumieniowych
• Zabezpieczanie przepływów danych
• Wzorce projektowe w przetwarzaniu strumieni
• Obsługa błędów i mechanizmy recovery
• Testowanie aplikacji strumieniowych

Poznaj naszą firmę