|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/domine-apache-airflow/
课程评论：没有评论
**课程名称：** 掌控Apache Airflow：数据工程流水线 **课程概述：** 本课程是一门于2023年新推出的现代化Airflow课程，旨在教授如何使用Apache Airflow这一强大的工具来管理、调度和监控数据处理工作流（流水线）。Netflix、Airbnb、Paypal、Twitter等知名公司都在使用Airflow。 课程将通过**有向无环图（DAGs）**的方法，帮助您轻松定义任务及其依赖关系，实现并行和顺序执行。您将学习如何自动化和编排广泛的数据处理工作流，例如从API提取、转换和加载（ETL）数据到数据库。 **关键学习内容：** * **Airflow架构：** 深入理解Airflow的内部运作机制。 * **DAGs和Tasks基础：** 掌握DAGs和Tasks的核心概念。 * **构建自定义DAGs：** 实践创建您自己的数据流水线。 * **使用PythonOperator、PostgresOperator等操作符（Operators）：** 学习如何利用不同的操作符来构建流水线。 * **核心概念应用：** 理解并应用Pools、Variables、Branches和Datasets等概念。 * **创建Sensors：** 学习如何编写Sensors以监控特定状态。 * **Triggers规则：** 了解并实现Triggers规则。 * **XCom数据交换：** 掌握使用XCom进行任务间数据传递。 * **邮件通知：** 实现任务失败或成功时的邮件通知。 * **Hooks：** 理解并创建Hooks。 * **Airflow配置：** 熟悉Airflow的主要配置项。 * **Executors类型：** 研究不同Executors的特性和应用。 * **数据库连接与更新：** 学习如何连接和更新数据库。 **课程资源：** 课程提供所有使用的代码和幻灯片。 **祝您学习愉快！**
Bem vindo ao nosso moderno curso de Airflow, desenvolvido e lançado em 2023!O Airflow é uma plataforma que permite o gerenciamento, a programação e a monitoração de fluxos de trabalho de processamento de dados (pipelines), usado por empresas como Netflix, Airbnb, Paypal, Twitter e outras. Através de uma abordagem baseada em Directed Acyclic Graphs (DAGs), o Airflow facilita a definição de tarefas e suas dependências, permitindo a execução paralela e sequencial das etapas do processo.O Airflow pode ser utilizado para automatizar e orquestrar uma ampla gama de fluxos de trabalho de processamento de dados. Um exemplo é a extração, transformação e carga (ETL) de dados de uma API para um banco de dados.Neste curso você vai aprender de forma prática como criar seus próprios Pipelines de Dados utlizando esta ferramenta incrível e moderna. Entre outras coisas você vai:Conhecer a Arquitetura do AirflowAprender Fundamentos de Dags e TasksConstruir suas Próprias DagsImplementar Dags com Operadores com PythonOperator, PostgresOperator entre muitos outrosEntender e aplicar conceitos como Pools, Variáveis, branchs e DatasetCriar Sensores em AirflowConhecer e Implementar regras de TriggersTrocar dados utilizando XComEnviar emails em caso de Falhas ou mesmo em uma TaskEntender e Criar HooksCompreender as principais configurações do AirflowEstudar os tipos de Executers e seus característicasConectar e atualizar bancos de dadosO curso ainda inclui acesso a todos os códigos e slides utlizados.Bons estudos!
