|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/databricks-delta-live-table-dlt/
课程评论：没有评论
**Coursera课程总结：Databricks Delta Live Tables (DLT)** 本课程旨在帮助学员掌握Databricks Delta Live Tables (DLT) 的核心概念和实际应用。 **模块一：Databricks基础** 本模块将引导学员完成Azure账户和Databricks工作区的设置，熟悉工作区导航，了解集群、Notebook、Libraries和Databricks文件系统（DBFS）等基本组件，并学习使用DBUTILS进行文件系统操作。 **模块二：Data Lakehouse架构与Delta Lake** 本模块深入介绍Data Lakehouse架构和Delta Lake的原理。学员将通过实践操作，学习创建Delta表，进行数据摄取，以及执行更新、删除和合并操作。此外，还将学习Schema验证和生成列等高级Delta Lake功能。 **模块三：Delta Live Tables (DLT) 概念与应用** 本模块重点讲解DLT的特性，并通过系列实验，指导学员使用CSV、JSON和Parquet文件开发DLT管道。学员将学习如何为CSV数据添加Schema，构建流式DLT管道，以及实现DLT数据转换和数据质量检查。 **模块四：DLT管道构建与优化** 本模块将引导学员从零开始创建第一个DLT管道，并深入探讨DLT的Schema演进，包括如何修改管道Schema以及在流式DLT管道中实现Schema演进。此外，还将学习DLT中的质量检查、可重用质量检查，以及结合SQL Server和参数化管道构建DLT解决方案。 **模块五：项目实战：Medallion Lakehouse架构** 本模块是课程的重头戏，学员将通过一个完整的项目实战，构建一个Medallion Lakehouse架构。内容涵盖配置SQL Server、产品、客户和订单数据摄取层的构建，以及Event Hub的配置和数据生产者创建。学员还将构建流式摄取层，开发Bronze、Silver（产品、客户、订单、在线事件、Web日志）层管道，并最终构建GOLD层，实现KPI查询和仪表板展示。 通过本课程的学习，学员将全面掌握Databricks DLT技术，能够独立构建和优化数据管道，实现现代化数据仓库和实时数据分析。
Module 1:•Setup Azure Account•Setup Workspace•Navigate the Workspace•Clusters•What is Notebook•What is Libraries•Databricks File System (DBFS)•DBUTILSModule 2:•What is Data Lakehouse Architecture•What Is Delta Lake•Lab: Create Delta Table•Lab: Delta Ingestion•Lab: Update / Delete / Merge•Lab: Schema Validation•Lab: Generated ColumnsModule 3:•Understanding Delta Live Tables•Lab: Develop Delta Live Tables using CSV File•Lab: How to add Schema into CSV data in DTL•Lab: Develop Delta Live Tables using JSON & Parquet File•Lab: Build Streaming DLT Pipeline using CSV•Lab: Build Streaming DLT Pipeline using JSON•Lab: DLT Transformation Part-1•Lab: DLT Transformation Part-2•Lab: Data Quality Check in DLTModule 4:•Lab: Create First Delta Live Table Pipeline•Lab: DLT Schema Evolution•Lab: Change the Schema in the DLT Pipeline•Lab: Build Streaming DLT Pipeline•Lab: Schema Evolution into Streaming DLT Pipeline•Lab: Quality Check•Lab: Reusable Quality Checks•Lab: DLT with SQL Server & Parameterized PipelineModule 5:•Project Use Case•Medallion Lakehouse architecture•Configure SQL Server•Build: Product Ingestion Layer•Build: Customer Ingestion Layer•Build: Order Ingestion Layer•Configure Event Hub & Create Producer•Build: Streaming Ingestion Layer•Develop Bronze Layer•Build Silver Products Pipeline•Build Silver Customer Pipeline•Build Silver Order Pipeline•Build Silver Online Event Pipeline•Build Silver Weblogs Pipeline•Build GOLD layer•Build KPI Queries•Build Dashboard
