|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/dbt-pipelines-de-engenharia-de-dados/
课程评论:没有评论
Coursera 上的 DBT: Crie e Execute Pipelines de Engenharia de Dados 课程总结 **课程概述:** 本课程着重介绍 dbt,一款旨在弥合业务与数据团队之间差距的数据转换工具。dbt 利用 SQL 这一高级声明性语言,使非技术人员也能轻松完成数据转换,相较于传统编程语言更为简便。 **核心内容:** * **dbt 基础:** 了解 dbt 的基本概念和工作原理。 * **模型与物化:** 学习数据模型设计和物化(materialization)策略。 * **实践环境搭建:** 使用 AWS Redshift(重要的数据仓库工具)搭建实践环境。 * **数据转换实践:** * 构建去重模型。 * 创建包含计算字段的模型。 * 进行表反规范化,创建事实表。 * 实现数据分区模型。 * **高级功能:** * 学习物化的实际应用。 * 创建单元测试。 * 使用 hooks(在模型创建前后执行的函数)进行数据库权限管理。 * 掌握变量和宏(macros)的使用。 * 学习项目文档生成。 * 通过 dbt Core (CLI) 创建项目。 **课程亮点:** * 所有使用的工具均为免费。 * 提供幻灯片、数据和脚本等支持材料。 * 包含一个完整的项目仓库。 **目标受众:** 对数据工程、数据转换和 dbt 工具感兴趣的学习者。
O constante aumento da importância da área de dados não só traz novas especializações profissionais, mas também provoca o surgimento de novas ferramentas.Dbt é uma ferramenta de transformação de dados, que busca aproximar a área de negócio da área de dados. Com ela, é possível transformar dados sem a necessidade de um profissional altamente técnico. Dbt transforma dados utilizando linguagem SQL, uma linguagem declarativa de alto nível, muito mais fácil de comparada a linguagens de programação tradicionais utilizadas na transfomação de dados.Neste curso, dividido entre tutoriais e aulas práticas você vai:Conhecer o dbt, e entender como ele funcionaEstudar os conceitos por traz de modelos e materializaçõesConstruir um ambiente para as aulas práticas utilizando Redshift, a mais importante ferramenta de Datawarehouse (AWS)Criar um modelo de transformação para remover duplicadosCriar um modelo com campos cálculadosDesnormalizar tabelas, criando uma tabela FatoCriar modelos de particionamento de dadosEstudar na prática materializaçõesCriar testes unitários no projetoCriar hooks, que são funções que são executadas antes ou depois da criação de um modelo, que atribuem permissões ao banco de dadosUtilizar variáveisCriar macrosProduzir documentação do projetoCrie projetos utilizando dbt Core (CLI)Todas as ferramentas utilizadas no curso são gratuitas.O curso inclui material de suporte através de slides, dados e scripts, além de um repositório com o projeto completo.