|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/master-azure-databricks/
课程评论：没有评论
**课程名称：掌握 Azure Databricks** **课程概述：** 本课程全面介绍了 Azure Databricks 的核心概念和实践操作，旨在帮助学员掌握利用 Azure Databricks 进行大规模数据处理、分析和机器学习的能力。课程内容涵盖了从基础的 Databricks 工作空间导航到高级的 Spark SQL 和结构化流处理，以及数据可视化和安全管理。 **主要学习内容：** * **模块一：认识数据管道与 Azure Databricks** * 理解数据管道的概念。 * 介绍 Azure Databricks 是什么。 * 讲解 Azure Databricks 的架构。 * 指导 Azure 账户设置和工作空间（Workspace）的创建。 * **模块二：Databricks 工作空间导航与管理** * 熟悉 Databricks 工作空间的各个组件，包括运行时（Runtimes）、集群（Clusters）、笔记本（Notebooks）、库（Libraries）、仓库（Repos）、Databricks 文件系统（DBFS）、DBUtils、Widgets。 * 学习使用工作流（Workflows）调度任务。 * 讲解并演示如何设置外部元存储（Metastore）。 * **模块三：RDD (弹性分布式数据集) 深入解析** * 理解 RDD 的概念，学习如何创建 RDD。 * 掌握 RDD 的转换（Transformations）和动作（Actions）。 * 学习 RDD 的联合（Joins）操作。 * 介绍 Pair RDD、广播变量（Broadcast Variables）和累加器（Accumulators）。 * 学习将 RDD 转换为 DataFrame。 * 演示如何导入和读取数据，以及在 Notebook 中创建表。 * **模块四：DataFrame 操作与高级转换** * 学习如何创建 DataFrame。 * 掌握 DataFrame 的函数（Functions）和类型转换（Casting Operations）。 * 深入学习 Filter、Update、Update ALL、Update BY Name、Order By & Sort By、Group By。 * 学习如何去重（Remove Duplicates）。 * 掌握窗口函数（Window Functions）和日期/时间戳函数。 * 学习用户定义函数（UDF）。 * 进行 DataFrame 的 JOIN 操作。 * 学习如何使用 `badRecordsPath` 处理损坏记录，并理解文件元数据列。 * **模块五：多格式数据读取** * 学习读取 Parquet、CSV、JSON、XML 和 Excel 文件。 * 学习如何使用 JDBC 读取 SQL 数据库。 * 讲解如何读取 Azure Blob 存储中的数据。 * **模块六：Spark 结构化流处理 (Structured Streaming)** * 理解 Spark 结构化流处理的概念。 * 学习数据源（Data Source）和数据汇（Data Sink）。 * 介绍 Rate 源、文件源和 Kafka 源。 * 演示 Console、Memory、File 和 Custom 数据汇。 * 构建流式 ETL 管道：设置 Event Hub，创建 Event Hub Producer，整合 Event Hubs 到 Databricks，进行数据转换，并将数据摄取到 Azure Data Lake。 * 通过 Twitter 情感分析项目，从设置 Twitter 开发者账户到实现情感分析，实践流处理技术。 * **模块七：Azure Databricks SQL 与可视化** * 介绍 Databricks SQL 的组件。 * 学习配置 SQL Endpoint。 * 演示如何从 CSV 文件创建表。 * 学习创建查询（Queries）和参数化查询（Parameterized Query）。 * 理解查询性能分析（Query Profile）。 * 学习构建数据可视化，包括表格、柱状图、饼图、折线图和计数器图，并将图表添加到仪表板（Dashboards）。 * 定义查询警报（Query Alerts）。 * 学习 Databricks SQL 对象的访问控制（Access Control），包括数据对象访问控制实验、转移所有权。 * 学习如何从 Python 访问 SQL Endpoint。 * 介绍 Databricks SQL CLI 的使用。 本课程为学员提供了在 Azure 云环境中利用 Databricks 进行高效数据工程和分析的宝贵技能。
Module 1: What is Data PipelineWhat is Azure databricksAzure Databricks ArchitectureAzure Account SetupWorkSpace SetupModule 2:Navigate the WorkspaceRuntimesClusters NotebooksLibrariesRepos Databricks File System (DBFS)DBUTILSWidgetsWorkflowsMetastore - Setup external MetastoreModule 3:What is RDD Creating RDDRDD transformationsRDD ActionsRDD JoinsPair RDDBroadcast VariablesAccumulatorsConvert RDD to DataFrameImport & Read dataCreate a table using the UICreate a table in a NotebookModule 4:Create DataFramesDefine SchemaFunctionsCasting OperationsFilter TransformationUpdate, Update ALL & UpdateByNameOrderBy & SortBYGroupByRemove DuplicatesWindow FunctionsDate and Timestamp FunctionsUDF (User Defined Function)JOINHandle corrupt records using the badRecordsPathFile metadata columnModule 5:Read Parquet FileRead CSV FilesRead JSON FilesRead XML FilesRead Excel fileSQL databases using JDBCAzure blob storageModule 6:What is Spark Structure StreamingData Source & SinkRate & File SourceKafka SourceSink: Console, Memory, File & CustomBuild Streaming ETLStream ETL 1: Setup Event HubStreaming ETL 2: Event Hub ProducerStreaming ETL 3: Integrate Event Hubs with Data BricksStreaming ETL 4: TransformationStreaming ETL 5: Ingest into Azure Data storageTwitter Sentiment Analysis - IntroductionSetup Twitter Developer AccountTwitter Sentiment Analysis - IITwitter Sentiment Analysis - IIIModule 7: Components in Databricks SQLConfiguring a SQL EndpointCreating a Table from a CSV FileCreate QueriesParameterized QueryQuery ProfileBuilding Visualization (Table, BAR & PIE )Building Line Chart & Counter ChartAdding Charts to DashboardsDefining a Query AlertAccess Control on Databricks SQL ObjectsLab: Data Object Access ControlTransfer OwnershipAccess SQL Endpoint from PythonDatabricks SQL CLIDatabricks SQL CLI
