|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/master-en-azure-databricks-para-data-engineers/
课程评论：没有评论
课程名称：Azure Databricks与Spark数据工程师学习课程 [A-Z] 课程概述：本课程专为希望学习如何在微软Azure云中处理、转换和分析大规模数据的数据专业人士、工程师和分析师而设计。通过本课程，学员将深入探索Databricks的架构、与其他Azure服务的集成以及使用Apache Spark处理大数据的最佳实践。 在课程中，学员将学习： - Azure Databricks简介 - Apache Spark的基础和分布式架构 - 在Azure Databricks中创建和配置集群 - 使用Python（PySpark）、SQL、Scala和R的协作笔记本 - 使用Delta Lake进行数据处理和存储 - Delta Lake的概念及其在事务数据管理中的重要性 - 创建Delta表以提升查询的可靠性和性能 - 使用时间旅行和优化命令（如OPTIMIZE和VACUUM） - Unity Catalog的数据管理与治理 - 基于角色的访问控制（RBAC）和数据审计 - 在多工作区环境中组织和管理元数据 - 与Azure存储帐户和Azure数据湖的集成 - 配置Azure存储帐户以存储和访问数据 - 与Azure Data Lake Gen2的集成 - 实施分区和压缩策略以提高性能 - 使用Azure数据工厂自动化数据流 - 创建管道以在Databricks中进行数据的获取、转换和加载 - 使用连接器将Databricks与多种数据源集成 - Databricks的代码和执行优化策略 - 在Databricks中使用缓存、分区和数据分布 - 作业监控和调试技巧 课程内容包括： - 创建Azure帐户 - Azure Databricks - Databricks集群 - Databricks笔记本 - 从Databricks访问Azure Data Lake Storage - Azure Data Lake Storage的访问安全 - Databricks文件系统（DBFS） - 在Databricks中挂载数据湖容器 - 项目“电影”的说明 - 处理CSV和JSON文件 - Databricks工作流 - 数据的过滤和连接变换 - 聚合操作 - Spark SQL及其分析功能 - 增量加载 - Delta Lake - Azure数据工厂（ADF） - 将Databricks与Power BI连接 - 项目提交到代码库 - Unity Catalog的介绍与项目 本课程注重实践，您将通过编写代码和命令来学习。课程中有多种数据处理任务和每个部分的练习，以巩固您所学的知识，同时您将能够通过小测验检验自己的理解。 无论您的知识背景或职业发展阶段如何，本课程都将帮助您获得新的技能并促进专业成长。期待您的参与，祝您学习愉快！
¡Master en Azure Databricks & Spark para Data Engineers [A-Z]!Este curso de Azure Databricks está diseñado para profesionales de datos, ingenieros y analistas que desean aprender a procesar, transformar y analizar grandes volúmenes de datos en la nube de Microsoft Azure. A lo largo del curso, los participantes explorarán la arquitectura de Databricks, su integración con otros servicios de Azure y las mejores prácticas para el manejo de datos a gran escala utilizando Apache Spark.Durante el curso, los estudiantes aprenderán:Introducción a Azure DatabricksFundamentos de Apache Spark y su arquitectura distribuida.Creación y configuración de clusters en Azure Databricks.Uso de notebooks colaborativos con Python (PySpark), SQL, Scala y R.Procesamiento y Almacenamiento de Datos con Delta LakeConceptos de Delta Lake y su importancia en la gestión de datos transaccionales.Creación de tablas Delta para mejorar la confiabilidad y el rendimiento de las consultas.Implementación de Time Travel y optimización con comandos como OPTIMIZE y VACUUM.Gestión de Datos con Unity CatalogIntroducción a Unity Catalog para la gobernanza centralizada de datos.Control de acceso basado en roles (RBAC) y auditoría de datos.Organización y administración de metadatos en entornos multi-workspace.Integración con Azure Storage Account y Azure Data LakeConfiguración de Azure Storage Account para almacenar y acceder a datos desde Databricks.Integración con Azure Data Lake Gen2 para manejar grandes volúmenes de datos estructurados y no estructurados.Implementación de estrategias de particionado y compresión para mejorar el rendimiento.Orquestación de Pipelines con Azure Data FactoryAutomatización de flujos de datos mediante Azure Data Factory (ADF).Creación de pipelines para la ingesta, transformación y carga de datos en Databricks.Uso de conectores para integrar Databricks con diversas fuentes de datos.Optimización y Buenas PrácticasEstrategias de optimización de código y ejecución en Databricks.Uso de caché, particiones y distribución de datos en Spark.Monitoreo y depuración de trabajos en Databricks.Los temás que aprenderá en el curso son:Crear una cuenta en AzureAzure DatabricksDatabricks ClusterDatabricks NotebooksAcceder a Azure Data Lake Storage desde DatabricksSeguridad de Acceso a Azure Data Lake StorageDatabricks File System(DBFS)Montaje de Contenedores Data Lakes en DatabricksExplicación Proyecto "Movie"Apache SparkTrabajar con archivos CSVTrabajar con archivos JSONTrabajar con Múltiples ArchivosDatabricks WorkflowsTransformaciones de "Filter" y "Joins"Agregaciones(Aggregations)Vistas en SparkSpark SQL - Database / Table / ViewSpark SQL - Filter / Join / AggregationSpark SQL - AnalysisIncremental Load(Carga Incremental)Delta LakeAzure Data Factory(ADF)Conectar Databricks con PowerBISubir Proyecto al RepositorioIntroducción - Unity CatalogProyecto - Unity CatalogEste curso es práctico y aprenderás escribiendo código/comandos. Trabajaras con una variedad de Datos a los largo de todo el curso, también se vas a poder realizar cuestionarios para poder reforzas tus conocimientos que vas a ir adquieriendo a lo largo del curso y podrás realizar ejercicios que se plantean en cada sección.Este curso es ideal para tí sin importar el conocimiento o perfil profesional que estes desarrollando, sin duda te ayudará a obtener nuevos conocimientos y crecer profesionalmente.¡Así que te espero en este curso, un fuerte abrazo!
