|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/pyspark-utilizando-spark-e-python-para-analisar-dados/
课程评论：没有评论
**课程名称：** PYSPARK：使用 SPARK 和 Python 分析数据 **课程概述：** 本课程旨在为希望掌握现代数据分析工具的学员提供培训。我们将深入探讨 Apache Spark 及其 Python API——PySpark。PySpark 是一个强大的分布式计算系统，专门用于处理大规模数据集和机器学习应用。 **PySpark 的主要优势包括：** * **分布式内存处理：** PySpark 能够在内存中实现高效的分布式数据处理，比传统系统快 100 倍。 * **广泛的文件系统支持：** 支持在 Hadoop (HDFS)、AWS S3 等多种文件系统上进行数据处理。 * **丰富的库：** 内置机器学习和图计算库，为数据分析和建模提供强大支持。 * **集群化执行：** 脚本在 Apache Spark 集群环境中运行，通过节点（NÓS）并行执行和转换数据。 **课程内容将涵盖以下 PySpark 模块：** * PySpark RDD (弹性分布式数据集) * PySpark DataFrame 和 SQL * PySpark Streaming (实时数据流处理) **学习目标：** 通过本课程，学员将能够熟练运用 PySpark 来处理和分析大规模数据集，掌握分布式计算的核心概念，并为在数据科学和机器学习领域迎接高需求做好准备。
Seja muito bem-vindo(a) ao nosso treinamento, ele foi pensado para quem deseja trabalhar com um ferramental extremamente moderno e atual que é utilizado em todas as empresas do mundo, que mescla infraestrutura e software em prol da análise de dados.Vamos entender que o PySpark é uma API Python para Apache SPARK que é denominado como o mecanismo de processamento analítico para aplicações de processamento de dados distribuídos em larga escala e aprendizado de máquina, ou seja, para grandes volumes de dados.O uso da biblioteca Pyspark possui diversas vantagens:• É um mecanismo de processamento distribuído, na memória, que permite o processamento de dados de forma eficiente e de características distribuída.• Com o uso do PySpark, é possível o processamento de dados em Hadoop (HDFS), AWS S3 e outros sistemas de arquivos.• Possui bibliotecas de aprendizado de máquina e gráficos.• Geralmente as aplicações criadas e executadas no PySpark são 100x mais rápidas que outras em sistemas de dados conhecidos. Toda a execução dos scripts é realizada dentro do Apache Spark, que distribui o processamento dentro de um ambiente de cluster que são interligados aos NÓS que realizam a execução e transformação dos dados.Vamos trabalhar com os seguintes módulos do PySpark:• PySpark RDD• PySpark DataFrame and SQL• PySpark StreamingVenha conhecer esta tecnologia que está com uma grande demanda em todas as organizações no mundo.
