|
所在平台: Coursera |
课程主页: https://www.coursera.org/learn/batch-data-pipelines-gcp-br
课程评论：没有评论
课程名称：在 GCP 上构建批处理数据管道（葡萄牙语） 概述：数据管道通常分为以下几种模型：提取-加载（EL）、提取-加载-转换（ELT）或提取-转换-加载（ETL）。本课程将介绍在处理批量数据时应使用的模型及其使用场景。同时，我们将探讨 Google Cloud Platform 上多种数据转换技术，包括 BigQuery、在 Cloud Dataproc 上运行的 Spark、Cloud Data Fusion 中的管道图，以及使用 Cloud Dataflow 进行无服务器数据处理。在 Qwiklabs 的实践活动中，参与者将创建 Google Cloud Platform 上的数据管道组件。 课程大纲： 1. **介绍** 描述：在本模块中，我们将介绍课程内容和安排。 2. **批处理数据管道的创建简介** 描述：本模块分析不同的数据加载方法：EL、ELT 和 ETL（以及何时使用每种方法）。 3. **如何在 Dataproc 上执行 Spark** 描述：本模块展示如何在 Dataproc 上运行 Hadoop，如何使用 Cloud Storage，及如何优化 Dataproc 作业。 4. **使用 Dataflow 进行无服务器数据处理** 描述：本模块讨论如何使用 Dataflow 创建数据处理管道。 5. **使用 Cloud Data Fusion 和 Cloud Composer 管理数据管道** 描述：本模块展示如何使用 Cloud Data Fusion 和 Cloud Composer 管理数据管道。 6. **课程总结** 描述：对课程内容进行总结。 这个课程将帮助学员深入了解在 Google Cloud Platform 上构建和管理批处理数据管道的不同方法和工具。
Name:Introdução
Description:Neste módulo, vamos apresentar o curso e a programação
Name:Introdução à criação de pipelines de dados em lote
Description:Este módulo analisa diferentes métodos de carregamento de dados: EL, ELT e ETL (e quando cada um deve ser usado)
Name:Como executar o Spark no Dataproc
Description:Este módulo mostra como executar o Hadoop no Dataproc, como usar o Cloud Storage e como otimizar os jobs do Dataproc.
Name:Processamento de dados sem servidor com o Dataflow
Description:Este módulo aborda o uso do Dataflow para criar pipelines de processamento de dados
Name:Gerenciamento de pipelines de dados com
Description:Este módulo mostra como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
Name:Resumo do curso
Description:Resumo do curso
De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
