|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/engenharia-de-dados-com-apache-beam-google-dataflow-gcp/
课程评论：没有评论
课程名称：使用 Google Dataflow 和 Apache Beam 在 GCP 上的数据工程 课程概述：本课程是一门关于 Apache Foundation 最新数据管道开发框架 Apache Beam 的入门课程，并介绍其在 Google Dataflow 中的使用。课程内容包括以下几个方面：1. 理解 Apache Beam 的内部工作原理；2. 探讨其优点；3. 讲解如何在本地机器上使用 Google Colab 开发而无需安装；4. 介绍主要功能；5. 在本地配置 Apache Beam 的 Python SDK；6. 如何将资源部署到 Google Dataflow 进行批处理管道；7. 如何将资源部署到 Google Dataflow 进行流处理管道；8. 理解 Pub/Sub 的概念及其在实时消息传递中的应用。 课程特点：课程内容动态更新，确保学员始终接触到最新信息。需要注意的是，课程不教授 Python，但会使用 Python，因此学员需具备基本的 Python 知识，包括定义函数、创建对象和数据类型。此外，为了完成第 4 部分的内容，即在 Google Dataflow 上部署管道，学员需要拥有一个 GCP 的免费账户，虽然这一过程简单，但需要提供信用卡信息。 课程要求： - 基础 Python 知识 - 本地安装 Python 3.7 或更高版本（从第 4 部分开始） - GCP 免费账户（从第 4 部分开始） 课程安排： - 第 2 部分：概念 - 第 3 部分：主要功能 - 第 4 部分：在 Google Dataflow 中使用 Apache Beam - 第 5 部分：通过 Pub/Sub 在 Google Dataflow 中进行流处理
Este é um curso INTRODUTÓRIO ao mais novo framework de desenvolvimento de pipeline de dados da Apache Foundation: O Apache Beam, e como este recurso está se tornando popular em parceria com o Google Dataflow. Em um resumo, queremos abordar os seguintes tópicos:1. Entender o seu funcionamento interno2. Quais são seus benefícions3. Explicar como usar na sua máquina lócal sem instalação via Google Colab para desenvolvimentos4. Suas funções principais5. Configurar a SDK do python Apache Beam localmentevice6. Como fazer o deploy deste recurso no Google Dataflow para uma pipeline em Batch7. Como fazer o deploy deste recurso no Google Dataflow para uma pipeline em STREAMING8. Conceitos e uso do Pub Sub como mecanimos de Mensageria em tempo RealEste curso é dinâmico, estará sempre que possível recebendo atualizações.É importante lembrar que este curso não ensina Python, mas utiliza ele. Então, esteja confortável em saber o básico de Python, definir uma função, criar objetos e tipos de dados.Também, caso tenha interesse em aprender a seção 4, que consiste no deploy de uma pipeline no Google Dataflow, será necessário ter uma contra gratuita na GCP. É um processo simples, mas requer cartão de crédito!___________________________________________________________________________________________________________Requisitos:· Conhecimento básico de Python· Ter Python 3.7 ou maior instalado localmente ( a partir da seção 4 )· Conta Gratuita no GCP ( a partir da seção 4 )Agenda:· Seção 2 - Conceitos· Seção 3 - Principais Funções· Seção 4 - Apache Beam no Google Dataflow· Seção 5 - Streaming no Google Dataflow com Pub Sub
