Opis szkolenia

Szkolenie przeznaczone jest dla osób zainteresowanych stosowaniem równoległych środowisk sieciowych do przetwarzania wolumenów danych dużej wielkości. Podczas szkolenia nabędziesz wiedzę z zakresu przetwarzania równoległego z wykorzystaniem narzędzia Apache Spark.

Kandydaci

Jako, że omawiane zagadnienia są ściśle związane z językiem Scala, jego znajomość jest niezbędna do przeprowadzenia szkolenia.

Czas trwania szkolenia

Szkolenie będzie trwało w sumie 14h i zostanie przeprowadzone w dni ustalone z firmą - zleceniodawcą. Szkolenie może zostać zorganizowane zarówno w dni powszednie jak i w dni weekendowe.

Miejsce szkolenia

Szkolenie odbędzie się w Siedzibie firmy - zleceniodawcy lub w Gdańskim Parku Naukowo-Technologicznym. Istnieje również możliwość organizacji szkolenia poza Trójmiastem

Termin szkolenia

Szkolenie odbędzie się w terminie ustalonym z firmą - zleceniodawcą

Organizacja szkolenia

Na szkolenie dostarczamy sprzęt komputerowy z zainstalowanym i skonfigurowanym środowiskiem oraz narzędziami potrzebnymi do przeprowadzenia szkolenia. Po stronie zleceniodawcy pozostaje kwestia udostępnienia stosownej sali oraz ewentualny catering.

Szczegóły szkolenia

Kurs podzielony jest na część teoretyczną i praktyczną. Każdy rodzaj zagadnienia jest wstępnie omawiany przez prowadzącego a następnie grupa przechodzi do ćwiczeń praktycznych (średnio 25% teoria, 75% praktyka). Podczas ćwiczeń praktycznych przeprowadzane są sesje programistyczne z aktywnym udziałem prowadzącego (live coding). Skupiamy się na praktycznym poznaniu najczęściej wykorzystywanych zagadnień związanych z implementacją aplikacji z wykorzystaniem Apache Spark.

Narzędzia, które wykorzystujemy podczas kursu - IntelliJ Idea, Git, Scala, SBT, Apache Spark, Apache Mesos.

Program

  • Przetwarzanie równoległę
    • Architektury równoległe
    • Połączenia sieciowe
    • Połączenia sieciowe
    • Paradygmaty przetwarzania równoległego
    • Speed-up
    • Prawa Amdahl'a i Gustavson'a
  • Wprowadzenie do Apache Spark
    • Co to jest Apache Spark
    • Zunifikowany stos technologiczny
  • Główne koncepcje
    • Omówienie głównych koncepcjis
    • Instalacja Apache Spark
    • Scala Shell
    • Pierwsza aplikacja
  • RDD - Resilent Distributed Datasets
    • Sposoby tworzenia RDD
    • Transformacje
    • Akcje
    • Persystencja RDD
  • Pair RDD
    • Agregacje
    • Grupowanie
    • Joining
    • Sortowanie
    • Partycjonowanie i rodzaje partycjonerów
  • Zagadnienia zaawansowane
    • Ładowanie i zapisywanie danych
    • Acumulators
    • Variable Broadcasting
    • Piping do programów zewnętrznych
    • StatsCounter
  • Clustering
    • Architektura rozproszona Apache Spark
    • Driver
    • Executor
    • Cluster Managers na przykładzie Apache Mesos
    • Ćwiczenia praktyczne

Jakie technologie poznasz?

Co zyskasz dodatkowo?

  • Certyfikat ukończenia kursu wraz z rekomendacją
  • Gadżet niespodziankę