|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/databricks-delta-lake-nifi-streaming-e-dados/
课程评论：没有评论
课程名称：Databricks Delta Lake + NIFI：流数据与数据处理 课程概述：这是一个备受期待的数据专业人员培训课程，结合了两种广泛应用于数据工程师项目的强大工具，主要集中在数据流的使用上，即Databricks Delta Lake和APACHE NIFI。在本课程中，我们将采用现代云数据处理技术，以Databricks及Delta Lake作为基础。Delta Lake是一个开源存储层，为数据湖提供可靠性，具备类似数据仓库的功能，同时能够完美处理批量和流数据。这些组件和功能将帮助构建优化且良好集成的Lakehouse架构。 随后，我们将深入探讨APACHE NIFI的使用，它旨在自动化系统之间的数据流动。许多企业拥有多个系统，其中一些系统生成数据，而另一些系统则消费数据，因此NIFI的出现旨在通过数据流实现软件间的集成。在课程中，我们将会了解FlowFile的概念，它代表在系统中移动的每个对象。 快来加入我们的培训，学习如何有效地利用这两种数据工程领域的巨头！
Um dos treinamentos mais esperados pelos profissionais de dados, que unem duas grandes ferramentas muito utilizadas pelos engenheiros de dados e que estão em qualquer projeto que utilize principalmente streaming de dados, estamos falando do uso do Databricks Delta Lake e do APACHE NIFI.Vamos iniciar nosso curso de forma incrível, trabalhando com que há de mais moderno no tratamento de dados na nuvem, faremos tudo isso no Databricks com o uso do Delta Lake. O Delta Lake é uma camada de armazenamento de código aberto que traz confiabilidade aos Data Lakes, fornecendo recursos semelhantes a data warehouse, em cima do Data Lake. Ele também pode lidar com dados de Batch e Streaming perfeitamente. E esses componentes e recursos podem ajudar a construir uma arquitetura otimizada e bem integrada do Lakehouse.Depois vamos mergulhar no uso do APACHE NIFI, foi construído para automatizar o fluxo de dados entre os sistemas, As empresas têm mais de um sistema, onde alguns dos sistemas criam dados e alguns dos sistemas consomem dados, então o NIFI nasce no contexto de permitir a integração entre os softwares via fluxo de dados. Comumente aqui no nosso curso você vai ouvir falar um FlowFile representa cada objeto movendo-se através do sistema e para cada um. Então, vamos começar nosso treinamento para aprender a trabalhar com estes dois gigantes da área de engenharia de dados?
