|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/engenharia-de-dados-com-google-datafusion-e-big-query-cdap/
课程评论：没有评论
课程名称：使用Google Datafusion和BigQuery进行数据工程 (CDAP) 课程概述：本课程是对Google Cloud的低代码数据摄取工具Datafusion的INTRODUTÓRIO。Google Data Fusion是一种完全托管的数据集成平台，使数据工程师能够高效地创建、部署和管理数据管道。使用Google Data Fusion的主要原因之一是其易用性。凭借直观的可视化界面，数据工程师可以创建复杂的数据管道，而无需编写大量代码。拖放界面简化了数据转换和清理的过程，使专业人士能够专注于业务逻辑，而不必担心细节编程。 Google Data Fusion的另一个重要优点是其可扩展性。该平台运行在Google Cloud上，能够处理大量数据和高性能的并行处理。数据工程师可以根据项目需求纵向或横向扩展其处理能力，确保能够应对任何规模的数据需求。此外，Google Data Fusion与Google Cloud生态系统中其他服务和产品的无缝集成使得数据工程师能够轻松地将数据管道与BigQuery、Cloud Storage、Pub/Sub等服务连接和集成。这为数据摄取、存储和分析提供了统一且连贯的架构。 在本课程中，您将学习： - 理解Google Data Fusion的内部工作原理 - 认识其优点 - 学会创建Datafusion实例 - 使用Google Cloud Storage作为数据输入 - 使用Big Query作为数据湖（铜层和银层） - Big Query的高级功能：分区表和MERGE命令 - 从不同来源摄取数据 - 用Wrangle（低代码）和查询转换数据 - 创建DAGs进行数据ETL和依赖关系管理 - 任务调度和跨DAG的依赖关系 适合希望深入了解数据工程与Google Cloud 服务的学习者。通过本课程，您将掌握使用Datafusion 和 BigQuery 的关键技能，提升您在数据工程领域的能力。
Este é um curso INTRODUTÓRIO a ferramenta de ingestão low code do Google Cloud , o Datafusion. O Google Data Fusion é uma plataforma de integração de dados totalmente gerenciada que permite aos engenheiros de dados criar, implantar e gerenciar pipelines de dados de maneira eficiente.Uma das principais razões para usar o Google Data Fusion é a sua facilidade de uso. Com uma interface intuitiva e visual, os engenheiros de dados podem criar pipelines de dados complexos, sem precisar escrever código extensivo. A interface drag-and-drop simplifica o processo de transformação e limpeza de dados, permitindo que os profissionais se concentrem na lógica do negócio, em vez de se preocuparem com a codificação detalhada.Outro benefício importante do Google Data Fusion é sua escalabilidade. A plataforma é executada no Google Cloud, o que significa que ela pode lidar com grandes volumes de dados e processamento paralelo de alto desempenho. Os engenheiros de dados podem expandir verticalmente ou horizontalmente suas capacidades de processamento, de acordo com as necessidades do projeto, garantindo que possam lidar com qualquer demanda de dados em escala.Além disso, o Google Data Fusion oferece uma integração perfeita com outros serviços e produtos do ecossistema do Google Cloud. Os engenheiros de dados podem facilmente conectar e integrar pipelines de dados com serviços como o BigQuery, Cloud Storage, Pub/Sub e muitos outros. Isso permite uma arquitetura de dados coesa e unificada, facilitando a ingestão, o armazenamento e a análise de dados em várias plataformas.Neste curso você ira aprender:Entender o seu funcionamento internoQuais são seus benefíciosAprendera a criar um instancia do DatafusionUtilizar o Google Cloud Storage como entrada de dadosUtilizar o Big Query como Data Lake (camadas Bronze e Silver)Recursos avançados do Big Query: Tabelas particionadas e comando MERGE Ingerir dados de fontes diferentes Transformar dados com Wrangle (low code) e com queriesCriar DAGS para ETL de dados e dependênciasAgendamentado e dependencias inter-DAGs
