In this hands-on, 1-hour project-based course, you will master real-time data processing using Apache Spark Structured Streaming. This course is designed for data engineers and developers who want to gain practical experience in building streaming data pipelines. You will begin by setting up the Spark environment and learn how to configure micro-batches and fault tolerance mechanisms through checkpointing. Next, you’ll dive into transforming streaming data by applying filters, maps, and aggregations to extract meaningful insights. You'll also handle out-of-order data with watermarks, ensuring the accuracy of your real-time analytics. The course will introduce you to querying streaming data using SQL, allowing you to perform transformations and aggregations on live data. Finally, you will learn to deploy your streaming pipeline to production by writing results to an external sink like Parquet files. This is an intermediate level project and in order to succeed in this course it is recommended to have basic understanding of Apache Spark and API PySpark, proficiency in programming and big data as well and some basic knowledge on writing SQL queries. This is the perfect opportunity for anyone looking to dive into real-time data processing and Spark Structured Streaming!
Expérience recommandée
Ce que vous apprendrez
Set up and configure a real-time data processing pipeline
Perform transformations, aggregations, and SQL queries on streaming data
Implement fault-tolerance mechanisms and ensure the pipeline remains resilient under high workloads and data inconsistencies
Détails à connaître
Ajouter à votre profil LinkedIn
janvier 2025
Disponible uniquement sur ordinateur
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Apprendre, pratiquer et appliquer des compétences prêtes à l'emploi en moins de 2 heures
- Bénéficiez d’une formation par des experts du secteur
- Gagnez en expérience pratique en effectuant des tâches professionnelles du monde réel
- Renforcez votre confiance en utilisant les outils et technologies les plus récents
À propos de ce Projet Guidé
Apprendrez étape par étape
Votre enseignant(e) vous guidera étape par étape, grâce à une vidéo en écran partagé sur votre espace de travail :
Task 1: Setting Up the Environment for Real-Time Data Streaming
Task 2: Managing Triggers and Checkpoints
Task 3: Transforming Streaming Data
Practice Activity
Task 4: Performing Transformations, Aggregations, and Advanced SQL Queries
Task 5: Writing and Deploying the Pipeline
Cumulative Challenge
Expérience recommandée
Experience with Apache Spark and API Pyspark. Python coding skills. SQL query proficiency. Big Data concepts. Kafka basics.
7 images de projet
Instructeur
Offert par
Méthode d’apprentissage
Apprentissage pratique basé sur les compétences
Mettez en pratique de nouvelles compétences en effectuant des tâches professionnelles.
Conseils d’experts
Suivez les vidéos pré-enregistrées d’experts à l’aide d’une interface unique, divisée en deux.
Aucun téléchargement ou installation requis(e)
Accédez aux outils et aux ressources dont vous avez besoin dans un espace de travail cloud préconfiguré.
Disponible uniquement sur ordinateur de bureau
Ce Projet Guidé est conçu pour les ordinateurs portables ou de bureau disposant d’une connexion internet fiable, et non pour les appareils mobiles.
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Vous aimerez peut-être aussi
DeepLearning.AI
Duke University
University of California San Diego
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
En achetant un Projet Guidé, vous obtenez tout ce dont vous avez besoin pour terminer ce Projet Guidé, y compris l'accès à un espace de travail de bureau cloud, via votre navigateur web, qui contient les fichiers et les logiciels dont vous avez besoin pour commencer, ainsi que les instructions vidéo étape par étape d'un expert en la matière.
Comme votre espace de travail contient un bureau cloud dimensionné pour un ordinateur portable ou de bureau, les Projets Guidés ne sont pas disponibles sur votre appareil mobile.
Les enseignants des Projets Guidés sont des experts en la matière qui ont de l'expérience dans les compétences, les outils ou le domaine de leur projet et qui sont passionnés par le partage de leurs connaissances avec des millions d'étudiants dans le monde.