|
所在平台: Coursera |
课程主页: https://www.coursera.org/learn/developing-pipelines-on-dataflow-pt
课程评论：没有评论
课程名称：无服务器数据处理与Dataflow：巴西葡萄牙语开发管道 课程概述：在这个Dataflow课程系列的第二部分中，我们将深入探讨如何使用Beam SDK开发管道。课程伊始，我们将回顾Apache Beam的基本概念。接下来，我们将讨论如何使用窗口、时间戳和触发器来处理流数据。随后，我们将介绍管道中的数据源和数据接收的选项、用于表达结构化数据的模式以及如何使用状态和计时器API进行有状态转换。我们还会回顾一些最佳实践，以帮助最大化管道性能。在课程的最后，我们将介绍SQL和Dataframes，以便在Beam中表示您的业务逻辑，并学习如何使用Beam笔记本进行迭代开发管道。 课程大纲： - 第一部分：来源与收集器 - 内容：在本模块中，您将学习Google Cloud Dataflow中的数据来源和收集器。我们将展示一些可分割的DoFn示例，以及文本、文件、BigQuery、Pub/Sub、Kafka、BigTable和Avro的输入/输出。此外，您还将了解到与每种输入/输出相关的一些有用功能。 - 第二部分：最佳实践 - 内容：在本模块中，我们将讨论一些最佳实践和常见模式，以帮助最大化您的Dataflow管道性能。 - 第三部分：总结 - 内容：本模块将对课程内容进行回顾。
Part: 1
Title:Origens e coletores
Description:Neste módulo, você aprenderá sobre as origens e os coletores no Google Cloud Dataflow. Mostraremos alguns exemplos de DoFn divisível e de E/S de texto, arquivos, BigQuery, Pub/Sub, Kafka, BigTable e Avro. Além disso, mostraremos alguns recursos úteis associados a cada E/S.
Part: 2
Title:Práticas Recomendadas
Description:Neste módulo, falaremos sobre práticas recomendadas e padrões comuns que maximizam o desempenho dos seus pipelines do Dataflow.
Part: 3
Title:Resumo
Description:Este módulo é uma recapitulação do curso.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
