|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/fundamentos-engenharia-de-dados-e-bigdata-com-azure/
课程评论：没有评论
**课程名称:** Azure 数据工程与大数据基础 **课程概述:** 本课程旨在为希望在 Azure 上从事大数据工作的学员提供全面的入门指导。您将学习构建创新数据管道的关键概念，涵盖： * **Azure 组件创建:** 学习如何在 Azure 中创建大数据项目所需的基础组件。 * **大数据与分析架构:** 理解大数据和分析项目的核心架构原则。 * **数据湖分层:** 掌握在数据湖中定义数据层的方法。 * **数据仓储、大数据与湖仓的区别:** 阐明数据仓库、大数据和湖仓之间的差异。 * **数据摄取:** 学习如何连接本地数据源并将数据引入 Azure 数据湖。 * **Pyspark 和 Spark SQL 数据转换与处理:** 掌握使用 Pyspark 和 Spark SQL 进行数据转换和操作的技巧。 * **Parquet 和 Delta Lake 分区:** 学习如何使用 Parquet 和 Delta Lake 格式进行数据分区。 **实践环节:** 课程将通过实践环节深入讲解 Azure Data Factory、Azure Data Lake Storage Gen2 (ADLS Gen2)、Azure Databricks 等工具的基本使用。 **学习目标:** 您将从理论到实践深入理解使用 Azure 技术栈进行数据工程的每一个步骤。通过动手练习数据摄取、处理和探索，您将巩固所学知识，为应对数据工程和数据分析的专业挑战做好准备。 **课程成果:** 完成本课程后，您将能够理解 Azure 上的大数据和数据工程系统的工作原理，并迈出在大数据领域取得成功的第一步！
Neste curso eu mostrarei o caminho para quem deseja começar a trabalhar com Bigdata na Azure.Você aprenderá todo os conceitos chaves para criar pipelines usando o que há de mais inovador no mercado de dados.Você aprenderá:· Criação dos componentes na Azure;· Arquitetura base para projetos de Bigdata e Analytics;· Definição de camadas de dados no Data lake;· Diferenças entre Data warehouse, Bigdata e Lake house;· Ingestão de dados: Como se conectar às suas fontes de dados on-premises e trazer os dados para dentro do Data Lake na Azure.· Transformações e manipulações de dados com Pyspark e Spark SQL;· Utilização de particionamentos em formato Parquet e Delta lake;No módulo Hands-on, abordaremos de forma prática a utilização básica de Azure Data Factory, Azure Data Lake Storage gen2 (ADLS gen2), Azure Databricks e muito mais.Abordaremos desde a parte teórica até demonstrações práticas, para facilitar o entendimento de cada step de um processo de engenharia de dados utilizando stack Azure.O curso ainda conta com alguns exercícios práticos de ingestão, manipulação e exploração de dados, onde você poderá praticar os conceitos aprendidos e estar preparado para os desafios profissionais de engenharia e análise de dados.Após concluir o curso, você estará apto a entender como funciona um sistema de Bigdata e engenharia de dados na Azure e conseguirá dar os primeiros passos em direção ao sucesso!
