Dans ce cours, vous explorerez différents types de systèmes sources, apprendrez comment ils génèrent et mettent à jour les données, et dépanner les problèmes courants que vous pourriez rencontrer en essayant de vous connecter à ces systèmes dans le monde réel. Vous plongerez dans les détails des modèles d'ingestion courants et mettrez en œuvre des pipelines de traitement par lots et en continu. Vous automatiserez et orchestrerez vos pipelines de données à l'aide des outils infrastructure as code et pipelines as code. Vous explorerez également AWS et des outils Open Source pour surveiller vos systèmes de données et la qualité des données.
Systèmes sources, ingestion de données et pipelines
Systèmes sources, ingestion de données et pipelines
Ce cours fait partie de DeepLearning.IA Ingénierie de données Certificat Professionnel
Instructeur : Joe Reis
Enseignant de premier plan
6 368 déjà inscrits
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
4.7
(74 avis)
niveau Intermédiaire
Expérience recommandée
34 heures pour terminer
3 semaines à 11 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Ce que vous apprendrez
Recueillir les besoins des parties prenantes et les traduire en exigences du système.
Mettre en œuvre un processus d'ingestion par lots et un processus d'ingestion en continu sur AWS pour ingérer des données à partir de différents systèmes sources.
Intégrez les aspects de la sécurité, de la gestion des données, du DataOps et de l'orchestration dans les systèmes de données que vous construisez.
Détails à connaître
Certificat partageable
Ajouter à votre profil LinkedIn
Récemment mis à jour !
septembre 2024
Évaluations
4 devoirs
Enseigné en Anglais
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Élaborez votre expertise en Cloud Computing
Ce cours fait partie de la DeepLearning.IA Ingénierie de données Certificat Professionnel
Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à ce Certificat Professionnel.
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable auprès de DeepLearning.AI
Obtenez un certificat professionnel
Ajoutez cette qualification à votre profil LinkedIn ou à votre CV
Partagez-le sur les réseaux sociaux et dans votre évaluation de performance
Il y a 4 modules dans ce cours
Dans la leçon 1, vous explorerez les systèmes sources avec lesquels les ingénieurs données interagissent couramment. Puis, dans la leçon 2, vous apprendrez à vous connecter à divers systèmes sources et à résoudre les problèmes de connectivité les plus courants.
Inclus
21 vidéos9 lectures1 devoir1 devoir de programmation3 laboratoires non notés
Cette semaine, vous allez vous plonger dans les modèles d'ingestion par lots et en continu. Vous identifierez les cas d'utilisation et les considérations pour chacun d'entre eux, puis vous construirez un pipeline d'ingestion par lots et un pipeline d'ingestion en continu. En ce qui concerne l'ingestion par lots, vous comparerez et opposerez les paradigmes ETL et ELT. Vous explorerez également divers services AWS pour l'ingestion par lots et en continu.
Inclus
11 vidéos6 lectures1 devoir1 devoir de programmation1 laboratoire non noté
Dans la première leçon, vous explorerez les pratiques d'automatisation de DataOps, notamment l'application de CI/CD à la fois aux données et au code, et l'utilisation d'outils d'infrastructure en tant que code comme Terraform pour automatiser le provisionnement et la gestion de vos ressources. Puis, dans la deuxième leçon, vous explorerez les pratiques d'observabilité et de surveillance de DataOps, notamment l'utilisation d'outils comme Great Expectation pour surveiller la qualité des données, et l'utilisation d'Amazon CloudWatch pour surveiller votre infrastructure.
Inclus
17 vidéos5 lectures1 devoir1 devoir de programmation2 laboratoires non notés
Cette semaine, vous apprendrez tout sur l'orchestration des tâches de votre pipeline de données. Vous identifierez les différents outils d'orchestration, mais vous vous concentrerez sur Airflow - l'un des outils les plus populaires et les plus largement utilisés dans le domaine aujourd'hui. Vous explorerez les principaux composants d'Airflow, l'UI d'Airflow, et comment créer et gérer des DAGs en utilisant diverses fonctionnalités d'Airflow.
Inclus
11 vidéos5 lectures1 devoir1 devoir de programmation2 laboratoires non notés
Instructeur
Évaluations de l’enseignant
5.0 (23 évaluations)
Recommandé si vous êtes intéressé(e) par Cloud Computing
Coursera Instructor Network
Duke University
Microsoft
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Avis des étudiants
4.7
74 avis
- 5 stars
90,66 %
- 4 stars
2,66 %
- 3 stars
0 %
- 2 stars
4 %
- 1 star
2,66 %
Affichage de 3 sur 74
MK
5
Révisé le 19 janv. 2025
great learning and exercises. appreciate the community.
TS
5
Révisé le 24 nov. 2024
Really valuable, and I got an idea of data-related concepts and infrastructure management.
RA
5
Révisé le 20 nov. 2024
All concepts related to these topics are explained clearly.
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
L'accès aux cours et aux devoirs dépend de votre type d'inscription. Si vous suivez un cours en mode audit, vous pourrez consulter gratuitement la plupart des supports de cours. Pour accéder aux devoirs notés et obtenir un certificat, vous devrez acheter l'expérience de certificat, pendant ou après votre audit. Si vous ne voyez pas l'option d'audit :
Il se peut que le cours ne propose pas d'option d'audit. Vous pouvez essayer un essai gratuit ou demander une aide financière.
Le cours peut proposer l'option "Cours complet, pas de certificat" à la place. Cette option vous permet de consulter tous les supports de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cela signifie également que vous ne pourrez pas acheter un certificat d'expérience.
Lorsque vous vous inscrivez au cours, vous avez accès à tous les cours du certificat et vous obtenez un certificat lorsque vous terminez le travail. Votre certificat électronique sera ajouté à votre page de réalisations. De là, vous pourrez l'imprimer ou l'ajouter à votre profil LinkedIn. Si vous souhaitez uniquement lire et visualiser le contenu du cours, vous pouvez auditer le cours gratuitement.
Si vous vous êtes abonné, vous bénéficiez d'une période d'essai gratuite de 7 jours pendant laquelle vous pouvez annuler votre abonnement sans pénalité. Après cette période, nous ne remboursons pas, mais vous pouvez résilier votre abonnement à tout moment. Consultez notre politique de remboursement complète.