-
Type de la Formation
Formation Présentielle BIG DATA
-
Durée
14 Heures
SPARK STREAMING
Découvrez l'univers palpitant du traitement de données en temps réel avec notre formation Apache Spark Streaming. Que vous soyez un chef de projet cherchant à dynamiser vos projets, un ingénieur de données aspirant à maîtriser les flux en continu, ou même un professionnel en reconversion, cette formation immersive vous propulsera dans le monde fascinant du streaming dans le Big Data. Apprenez à manipuler avec assurance les Discretized Streams (DStream), à appliquer des transformations puissantes, et à relever les défis complexes du traitement en temps réel. Préparez-vous à libérer le potentiel de vos données avec la puissance de Spark Streaming !
Objectifs pédagogiques
- Découvrir l’un des plus puissant framework de calcul distribué en mémoire.
- Utilisation de Spark Streaming pour réaliser des traitements en micro batch ou streaming et temps réel dans un contexte BIG DATA
Durée
- 14 heures
Cout/HT
- 1200€
Public Concerné
- Développeurs logiciels
- Architectes de solutions Big Data
- Analystes de données
- Scientifiques de données
- Administrateurs de bases de données
- Professionnels de l'informatique intéressés par le traitement de données en temps réel
Prérequis
- Connaissances Fondamentales en Informatique.
- Compétences en Programmation (Java ou Scala).
- Intérêt pour les Technologies Big Data.
- Familiarité avec les Systèmes de Streaming (Optionnel).
- Compréhension des Systèmes Tolérants aux Pannes. Avoir une Motivation pour les Technologies Big Data.
Moyens pédagogiques et d’encadrement
- Cours théorique assurés par des formateurs expérimentés
- Support de cours détaillés
- Séries d’exercices et travaux pratiques
- Un pc avec accès à tous les outils nécessaires au cours
Suivi et évaluation des résultats
- Examen écrit & QCM
- Présentation & Atelier
- Compte rendu individuel
- Attestation de présence
- Enquêtes de de satisfaction
Programme
- Le Streaming dans le Big Data
- Comment streamer dans le Big Data
- Le Streaming : Historique
- La tolérance aux pannes
- Les systèmes en Striming : Existants
- o Storm
- o Trident
- Spark Streaming
- o Qu’est ce que c’est Spark Streaming
- o Fonctionnement de Spark Streaming
- Model de programmation de Spark Streaming
- o Discretized Stream (DStream)
- o L’API DStream
- Les Fenêtres glissantes : "Window"
- Les transformations sur les DStream
- o map(func)
- o flatMap(func)
- o filter(func)
- o repartition(numPartitions)
- o union(otherStream)
- o count()
- o reduce(func)
- o countByValue()
- o reduceByKey(func, [numTasks])
- o join(otherStream, [numTasks])
- o cogroup(otherStream, [numTasks])
- o transform(func)
- o updateStateByKey(func)
Modalité d’accès
- Notre organisme de formation veille que toute personne en situation de handicap puisse accéder à nos formations dans la mesure des moyens d’adaptation organisationnels et techniques pouvant être mis en œuvre pour l’accompagner.