Apache Spark

Zapytaj o szkolenie:

NAPISZ DO NAS
Termin - do ustalenia

Szkolimy zarówno w dni powszednie, jak i w weekendy. Zaproponuj dogodny dla Ciebie termin, a my zajmiemy się resztą.

14 godzin

Dodatkowo przewidujemy:
2 x 15 min – przerwa na kawę
30 min – przerwa obiadowa

Gdańsk, siedziba Codementors

Gdański Park Naukowo-Technologiczny
ul. Trzy Lipy 3, 80 – 172 Gdańsk (budynek C)

 

lub inna ustalona lokalizacja

Dla kogo jest to szkolenie?

Szkolenie przeznaczone jest dla osób zainteresowanych stosowaniem równoległych środowisk sieciowych do przetwarzania wolumenów danych dużej wielkości. Podczas szkolenia nabędziesz wiedzę z zakresu przetwarzania równoległego z wykorzystaniem narzędzia Apache Spark.

W szkoleniu mogą uczestniczyć osoby posiadające wiedzę z zakresu języka Scala.

Grupa może liczyć maksymalnie 12 osób.

Termin i miejsce szkolenia

Szkolenie odbędzie się w terminie ustalonym z firmą – zleceniodawcą i będzie trwało 14h. Może zostać zorganizowane zarówno w dni powszednie jak i w dni weekendowe. A odbywać się może w siedzibie Codementors ( Gdański Park Naukowo-Technologiczny) lub w innej ustalonej lokalizacji, również poza Trójmiastem.

Co zyskasz?

Każdy uczestnik szkolenia otrzyma Certyfikat Codementors, potwierdzający zdobyte umiejętności, z wyszczególnionym programem szkolenia. A także gadżet – niespodziankę 🙂

Organizacja szkolenia

Kurs podzielony jest na część teoretyczną i praktyczną. Każdy rodzaj zagadnienia jest wstępnie omawiany przez prowadzącego a następnie grupa przechodzi do ćwiczeń praktycznych (średnio 25% teoria, 75% praktyka). Podczas ćwiczeń praktycznych przeprowadzane są sesje programistyczne z aktywnym udziałem prowadzącego (live coding). Skupiamy się na praktycznym poznaniu najczęściej wykorzystywanych zagadnień związanych z implementacją aplikacji z wykorzystaniem Apache Spark.

Narzędzia, które wykorzystujemy podczas kursu – IntelliJ Idea, Git, Scala, SBT, Apache Spark, Apache Mesos.

Na szkolenie dostarczamy sprzęt komputerowy z zainstalowanym i skonfigurowanym środowiskiem oraz narzędziami potrzebnymi do przeprowadzenia szkolenia. Po stronie zleceniodawcy pozostaje kwestia udostępnienia stosownej sali oraz ewentualny catering.

Ramowy program

  • Przetwarzanie równoległe
    • Architektury równoległe
    • Połączenia sieciowe
    • Połączenia sieciowe
    • Paradygmaty przetwarzania równoległego
    • Speed-up
    • Prawa Amdahl’a i Gustavson’a
  • Wprowadzenie do Apache Spark
    • Co to jest Apache Spark
    • Zunifikowany stos technologiczny
  • Główne koncepcje
    • Omówienie głównych koncepcji
    • Instalacja Apache Spark
    • Scala Shell
    • Pierwsza aplikacja
  • RDD – Resilent Distributed Datasets
    • Sposoby tworzenia RDD
    • Transformacje
    • Akcje
    • Persystencja RDD
  • Pair RDD
    • Agregacje
    • Grupowanie
    • Joining
    • Sortowanie
    • Partycjonowanie i rodzaje partycjonerów
  • Zagadnienia zaawansowane
    • Ładowanie i zapisywanie danych
    • Acumulators
    • Variable Broadcasting
    • Piping do programów zewnętrznych
    • StatsCounter
  • Clustering
    • Architektura rozproszona Apache Spark
    • Driver
    • Executor
    • Cluster Managers na przykładzie Apache Mesos
    • Ćwiczenia praktyczne

Opłata za szkolenie

Skorzystaj z możliwości finansowania tego szkolenia

Dofinansowanie z KFS

W przypadku dedykowanych kursów specjalistycznych pomagamy z przygotowaniem dokumentów przy staraniu się o środki z Krajowego Funduszu Szkoleniowego. Dla szkoleń specjalistycznych, na które pracodawca wysyła minimum 7 osób, pomoc ta jest bezpłatna.

  • Środki KFS przeznaczone są na finansowanie kształcenia ustawicznego pracowników i pracodawcy,
  • Z dofinansowania mogą skorzystać wszystkie przedsiębiorstwa (duże, średnie, małe oraz mikroprzedsiębiorstwa, które zatrudniają min. 1 pracownika),
  • Dofinansowanie dla mikroprzedsiębiorstw stanowi 100% wartości usługi szkoleniowej,
  • W przypadku przedsiębiorstw dużych, średnich i małych dofinansowanie z KFS wynosi 80% wartości usługi szkoleniowej,
  • Środki z KFS są formą pomocy de minimis,
  • Przy ubieganiu się o przyznanie środków z KFS bez znaczenia jest rodzaj umowy o pracę na podstawie której zatrudnieni są pracownicy (np. umowa o pracę na czas nieokreślony, umowa o pracę na czas określony, umowa na zastępstwo), a także czy wykonują oni pracę na pełen, czy na część etatu. W przypadku umowy o pracę na czas określony, jak i umowy o pracę na zastępstwo, musi ona obejmować okres, co najmniej do czasu zakończenia kształcenia ustawicznego.

Dofinansowanie w ramach RPO (Baza Usług Rozwojowych)

Firma Codementors zarejestrowana jest w Bazie Usług Rozwojowych. Nasi Partnerzy, spełniający warunki o byciu mikro, małym lub średnim przedsiębiorcą, mogą ubiegać się o dofinansowanie naszych szkoleń w ramach Regionalnych Programów Operacyjnych (RPO). Chętnie pomożemy w przygotowaniu wniosku o to dofinansowanie!

 

Więcej informacji o wysokości i warunkach dofinansowania: https://serwis-uslugirozwojowe.parp.gov.pl/dofinansowanie