|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/academia-engenharia-de-dados/
课程评论：没有评论
课程名称：超级数据工程学院 - 9 门课程合一 课程概述：超级数据工程学院是一个综合项目，汇聚了希望成为数据工程师所需的最常用工具。您将学习当前全球大公司使用的各种主题的细节，包括集群、Spark、Databricks、Python、R、Scala、SQL、Node、Spark的配置和安装、Elasticsearch、Kibana、Logstash、Apache Hop、KNIME、Trifacta等。我们的培训内容全面，包含大量练习、多个脚本供实践使用和学习手册。目标是让您拥有一本包含活动的书籍，帮助您理解职场中广泛使用的术语和主题。 课程内容包括： - **Apache Hop**：一种完全可视化的工具，帮助数据工程师构建无代码的数据管道和工作流，进行数据整合与处理。 - **KNIME**：一个直观强大的数据集成平台，支持多种数据源的处理与质量控制，帮助用户应对复杂的工程挑战。 - **Databricks**：强大的云生态系统，支持多语言脚本创建（R、Scala、SQL），并可构建图表和仪表盘。 - **Databricks Delta Lake**：快速的Parquet文件事务控制，支持数据版本管理，用户可使用Time Travel功能轻松访问历史数据。 - **Alteryx**：100%可视化的数据处理工具，用户可轻松引入、转换和清理数据。 - **Pentaho PDI**：全球知名的ETL工具，帮助构建数据集成管道，转换数据为有用的商业洞察。 - **Apache NiFi**：数据流构建工具，支持灵活的流数据处理。 - **Elasticsearch**：庞大生态系统，结合了数据摄取、处理和可视化工具（Logstash、DSL、Kibana），运行在NoSQL数据库中。 超级数据工程学院还提供丰富的练习、命令手册以及系列脚本，以帮助您理解大数据的世界。立即加入课程，开始您的培训旅程，我们期待您的参与。
A Super Academia Engenharia de Dados é um super projeto que reúne as ferramentas mais utilizadas para quem deseja ser um engenheiro de dados. Aqui será possível aprender detalhes sobre temas que estão sendo utilizados nas grandes empresas de todo o mundo. Você aprenderá e discutirá sobre CLUSTER, SPARK, DATABRICKS, PYTHON, R, SCALA, SQL, NÓS, CONFIGURAÇÃO E INSTALAÇÃO DE SPARK, ELASTICSEARCH, KIBANA, LOGSTASH, APACHE HOP, KNIME, TRIFACTA e muito mais. O nosso treinamento é completo e conta com uma gama grande de exercícios, vários scripts para prática e apostila. A ideia é que você tenha um book de atividades que capacite você e o faça entender termos e assuntos amplamente vistos no mercado de trabalho.Então vamos lá, começaremos pelo espetacular APACHE HOP, falou em APACHE é coisa muito boa, aqui o engenheiro de dados realmente saberá o que fazer, é um canivete suiço em suas mãos, dentre as principias funcionalidades está a integração e tratamento de dados. A ferramenta é 100% visual, isso mesmo, sem código, você montará os chamados pipelines e workflows para construção de projetos que envolvam (operações de banco de dados, higienização de bases, incremento e retirada de campos, ajustes em conteúdos, preparação de jobs de carga, dentre outras tarefas).Em seguida, vamos trabalhar com umas das mais incríveis ferramentas da área de engenharia de dados que é muito utilizada pelos profissionais de Ciência de Dados, estamos falando do KNIME. O KNIME oferece uma plataforma intuitiva e poderosa para a integração de dados, permitindo que profissionais construam fluxos de trabalho eficazes. Sua capacidade de lidar com diversas fontes, transformar dados e garantir qualidade coloca os usuários em posição estratégica para enfrentar desafios complexos na engenharia de dados.Depois iremos mergulhar no nosso DATABRICKS, um fabuloso ecossistema na nuvem, que reúne tudo que você precisa para analisar dados. Você aprenderá a criar um cluster para execução dos seus dados, entenderá sua configuração, aprenderá a criar scripts em linguagens como R, SCALA e SQL, construirá gráficos e dashboards, tudo isso em um mesmo notebook de atividades, isso mesmo, o DATABRICKS é uma das poucas ferramentas de mercado que fazem multicodificação.Ainda não terminou o DATABRICKS, vamos trabalhar no que há de mais moderno nele o DATABRICKS DELTA LAKE, realmente incrível o controle de transações dos arquivos parquet como se fossem banco de dados e ultrarrápido, super fácil de trabalhar e de controlar, você aprenderá a utilizar o Time Travel para que possa trazer versões dos dados em diversos momentos, sem ficar preocupado com baixa de arquivos volumosos, é a evolução do DATABRICKS.Agora vamos aprender a tratar dados de uma forma nunca vista com uma ferramenta 100% visual da ALTERIX os usuários podem importar dados de diversas fontes, incluindo arquivos, bancos de dados, aplicativos e dispositivos móveis. Ele permite aos usuários visualizar e explorar seus dados com facilidade, identificando e corrigindo problemas de dados, como duplicatas, valores ausentes e erros de digitação.Além disso, a ferramenta possibilita aos usuários transformar seus dados de acordo com suas necessidades, com recursos como agregação, junção, filtragem e normalização. Os usuários também podem criar e salvar fluxos de trabalho personalizados, reutilizá-los em projetos futuros e automatizar tarefas de limpeza de dados.E também tem o ETL mais famosos e utilizado no mundo o PENTAHO PDI, que lhe ajudará a construir pipelines para integração e ingestão de dados com diversos componentes visuais, onde você poderá utilizar fontes de dados variadas e realizar o tratamento de informações para transformá-las em insights úteis para as empresas.Outra vantagem é aprender a trabalhar com o Alterix Trifacta com sua capacidade de integração com outras ferramentas de análise e inteligência artificial, permitindo que os usuários importem seus dados limpos e estruturados.Depois entraremos no mundo do SPARK, você instalará do zero o SPARK e suas aplicações e logo em seguida partirá para a construção de scripts em PySpark, tudo muito direto e hands on. Você aprenderá conceitos novos sobre coleção de dados em RDD e DATAFRAME em ambientes distribuídos. É uma das linguagens mais utilizadas no momento.Já com uma gama muito grande de conhecimento sobre o mundo SPARK e DATABRICKS, vamos iniciar nos projetos de ingestão de dados com o uso do NiFi, produto que trabalha na construção de fluxo de dados. É uma ferramenta múltipla, com grande liberdade para que você construa o que precisa e deseja, é aqui que os pipelines são feitos e você poderá entender como o streaming trabalha.Ao final vamos conhecer o ambiente do ELASTICSEARCH, um colossal ecossistema que reuni ferramentas de ingestão de dados (LOGSTASH), ferramentas de manipulação de dados (DSL), ferramentas de visualização de dados (KIBANA) e tudo isso trabalhando em um banco de dados No SQL, não é demais!A Super Academia Engenharia de Dados tem ainda muito mais, exercícios diversos, apostila com comandos, uma séria de scripts que preparam você para entender este mundo BIG DATA.Então venha hoje mesmo e comece seu treinamento, estamos lhe esperando.
