Neste módulo, aprendemos a usar a página Lista de jobs para filtrar os jobs que queremos monitorar ou investigar. Vimos como as guias Gráfico de job, Informações do job e Métricas do job mostram um resumo abrangente do job do Dataflow. Por fim, aprendemos a usar a integração do Dataflow com o Metrics Explorer e criar políticas de alertas para as métricas do Dataflow.

Neste módulo, aprendemos a usar o painel Registro na parte inferior das páginas Gráfico de job e Métricas do job e mostramos a página centralizada Error Reporting.

Neste módulo, vamos aprender a resolver problemas e depurar pipelines do Dataflow. Também vamos analisar os quatro modos comuns de falha do Dataflow: ao criar o pipeline, ao iniciar o pipeline no Dataflow, durante execução do pipeline e problemas de desempenho.

Neste módulo, veremos as considerações de desempenho que devemos saber ao desenvolver pipelines em lote e de streaming no Dataflow.

Este módulo vai mostrar o teste de unidade dos pipelines do Dataflow. Também vamos abordar os frameworks e os recursos disponíveis para otimizar o fluxo de trabalho de CI/CD dos pipelines do Dataflow.

Neste módulo, veremos os métodos para criar sistemas resilientes a dados corrompidos e falhas temporárias do data center.

Este módulo aborda os modelos Flex, um recurso que ajuda as equipes de engenharia de dados a padronizar e reutilizar o código de pipeline do Dataflow. Vários desafios operacionais podem ser resolvidos com esses modelos.

Este módulo faz uma revisão dos temas abordados no curso.