|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/bootcamp-engenharia-de-dados/
课程评论：没有评论
**课程名称：** 数据工程训练营：构建真实项目 **课程概述：** 本课程是一次实用的旅程，旨在为一家汽车制造商构建一个数据仓库。我们将创建一个虚构的公司，拥有网站、系统和实时生成新销售数据的“活跃”数据库。通过七个详细的部分，学员将深入到一个真实的项目中，使用 Airflow、dbt 和 Snowflake 等尖端市场工具，数据源数据库为 PostgreSQL。最后一部分我们将使用 Looker Studio 创建一个仪表板。 **学习内容详情：** * **介绍：** 课程概览，介绍数据工程的基础概念、数据仓库的重要性以及它如何推动汽车制造商的数据驱动决策。 * **探索公司数据库：** 学员将学习如何浏览公司的 PostgreSQL 数据库，理解其结构以及数据的存储方式，这对于数据迁移和数据建模的规划至关重要。 * **配置 Airflow：** 学员将配置 Airflow（一个工作流编排平台），学习如何自动化和监控复杂的数据工程工作流，这对提高数据运营的效率和可扩展性至关重要。 * **创建账户和配置 Snowflake：** 学员将开始接触 Snowflake（一个云数据存储服务），配置账户，了解其功能以及如何将其集成到公司的数据生态系统中。 * **创建 DAG 和加载数据：** 本节重点介绍在 Airflow 中创建有向无环图 (DAG)，以编排将数据从 PostgreSQL 加载到 Snowflake 的过程，确保数据传输的高效和可靠。 * **创建项目和配置 dbt：** 学员将学习使用 dbt (data build tool) 在 Snowflake 中转换数据，应用数据工程实践来有效地建模、测试和记录数据。 * **生成仪表板和讨论备选方案：** 课程将专门用一节来创建数据可视化仪表板，并讨论数据工程领域的备选方案和最佳实践。 **课程亮点：** * **实战项目：** 围绕一家虚构汽车制造商构建真实的数据仓库项目。 * **先进工具：** 使用 Airflow、dbt、Snowflake 和 PostgreSQL 等行业领先工具。 * **实时数据：** 模拟实时销售数据，提供真实的实践体验。 * **动手实践：** 从数据库探索到仪表板创建，全程动手操作。 * **脚本可用：** 课程中使用的所有脚本均可供学员下载。 **目标学员：** 本课程非常适合希望深化数据工程知识，并在实际、真实的环境中应用理论概念，从而为应对数据分析领域的现实挑战做好准备的学习者。
Bem vindo ao Bootcamp Engenharia de Dados! Este curso é uma jornada prática voltada para a construção de um Data Warehouse para uma montadora de veículos. Criamos uma empresa fictícia para o curso, com site, sistema e banco de dados "vivo", com novas vendas sendo geradas em tempo real!Através de sete seções detalhadas, os alunos mergulham em um projeto real, utilizando ferramentas de ponta no mercado como Airflow, dbt e Snowflake, com o banco de origem dos dados sendo o PostgreSQL. Em uma última seção criamos um Dashboard usando Looker Studio. Aqui está uma visão detalhada das seções e o que você pode esperar aprender:Introdução: Uma visão geral do curso, introduzindo os conceitos fundamentais da engenharia de dados, a importância de um Data Warehouse e como ele pode impulsionar a tomada de decisões baseada em dados em uma montadora de veículos.Explorando o banco de dados da empresa: Nesta seção, os alunos aprendem a navegar pelo banco de dados PostgreSQL da empresa, compreendendo sua estrutura e como os dados são armazenados, essencial para o planejamento da migração e modelagem de dados.Configurando Airflow: Os alunos configuram o Airflow, uma plataforma de orquestração de trabalho, aprendendo a automatizar e monitorar fluxos de trabalho complexos de engenharia de dados, essenciais para a eficiência e escalabilidade das operações de dados.Criando conta e configurando Snowflake: Aqui, os alunos dão seus primeiros passos com o Snowflake, um serviço de armazenamento de dados na nuvem, configurando contas e aprendendo sobre suas capacidades e como ele pode ser integrado ao ecossistema de dados da empresa.Criando a DAG e carregando os dados: Esta seção foca na criação de Directed Acyclic Graphs (DAGs) no Airflow para orquestrar o processo de carregamento dos dados do PostgreSQL para o Snowflake, garantindo uma transferência de dados eficiente e confiável.Criando projeto e configurando o dbt: Os alunos aprendem a utilizar o dbt (data build tool) para transformar dados no Snowflake, aplicando práticas de engenharia de dados para modelar, testar e documentar os dados de forma eficaz.Produção de dashboard e discussão de alternativas: O curso oferece uma seção dedicada à criação de dashboards para visualização de dados e discussões sobre alternativas e melhores práticas no campo da engenharia de dados.Este curso é ideal para quem busca aprofundar seus conhecimentos em engenharia de dados, aplicando conceitos teóricos em um contexto prático e realista, preparando os alunos para enfrentar desafios do mundo real no campo da análise de dados.Todos os scripts utilizados no curso estão disponíveis para o aluno baixar!
