|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/real-time/
课程评论：没有评论
**课程名称：** 真实项目中的数据工程：实时分析 (Projeto Real de Engenharia de Dados: Real Time Analytics) **课程概述：** 本课程专为希望学习和应用实时数据分析实践技能的数据专业人士和爱好者设计，重点使用强大的 AWS 服务。学员将动手完成一个真实项目，该项目能够从 API 提取数据、发出实时警报以及高效、有序地存储数据。 **学习内容：** * **AWS 服务集成：** * Lambda 与 Kinesis：用于实时数据摄取和处理。 * SNS：用于实时警报，确保关键信息及时送达。 * IAM 角色：管理安全和访问控制。 * S3：将原始数据和转换后的 Parquet 格式数据分别存储在 Raw 和 Gold 区域。 * Glue：包括 ETL、数据目录创建和 Crawler 使用，用于高效组织和转换数据。 * Athena：进行即席查询，实现快速灵活的数据分析。 * CloudWatch：用于监控和日志记录，确保流程的监测和问题排查。 * **项目实操：** * 构建一个完整的、可扩展的实时数据分析解决方案。 * 学习如何将数据从 API 提取、处理、存储和分析。 **优势：** * 提供完整的项目源代码。 * 提供详细的补充材料。 * 提供专门的支持。 **目标学员：** * 希望提升数据工程技能的学员。 * 希望获得 AWS 云平台实践经验的学员。 **课程收益：** * 能够使用 AWS 的最佳实践和工具实现生产环境中的实时数据分析解决方案。 * 为数据领域的职业发展做好准备。
Bem-vindo ao nosso curso de Engenharia de Dados: "Real Time Analytics". Este curso é projetado para profissionais e entusiastas de dados que desejam aprender e aplicar habilidades práticas de análise de dados em tempo real utilizando as poderosas ferramentas e serviços da AWS.Neste curso, você irá desenvolver um projeto real que consome dados de uma API, emite alertas em tempo real e armazena esses dados de maneira eficiente e organizada. Utilizando um conjunto robusto de serviços da AWS, você aprenderá a integrar e orquestrar funções lambda, Kinesis, SNS, roles IAM, S3, Glue (ETL, catálogo e crawler), Athena e CloudWatch para criar uma solução completa e escalável de análise de dados em tempo real.O que você aprenderá:Configuração e integração de funções lambda e Kinesis para ingestão e processamento de dados em tempo real.Uso de SNS para alertas em tempo real, garantindo que as informações críticas cheguem rapidamente aos destinatários corretos.Gerenciamento de roles IAM para garantir segurança e controle de acesso.Armazenamento de dados no S3 em duas áreas distintas: raw, para dados brutos, e gold, para dados transformados e estruturados em formato parquet.ETL com Glue, incluindo criação de catálogos e utilização de crawlers para organizar e transformar dados de maneira eficiente.Consultas ad-hoc com Athena para análise rápida e flexível dos dados armazenados.Monitoramento e logging com CloudWatch, assegurando que todo o processo seja monitorado e quaisquer problemas sejam rapidamente identificados e resolvidos.Além das aulas práticas, você terá acesso ao código fonte completo do projeto, material complementar detalhado e suporte dedicado para ajudá-lo em sua jornada de aprendizado.Este curso é ideal para aqueles que desejam aprimorar suas habilidades em engenharia de dados e adquirir experiência prática com uma das plataformas de nuvem mais utilizadas no mercado. Ao final do curso, você estará preparado para implementar soluções de análise de dados em tempo real em ambientes de produção, utilizando as melhores práticas e ferramentas da AWS.Inscreva-se agora e transforme sua carreira na área de dados com nossa abordagem prática e orientada a projetos.
