|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/spark-curso-completo/
课程评论：没有评论
**课程名称：** Formação Spark com Pyspark: o Curso Completo **课程概述：** 本课程是关于Apache Spark的全面培训，尤其侧重于使用Python API (PySpark)。在当今“大数据”时代，Spark作为一种高效的数据处理工具，因其处理海量数据的强大性能而成为数据科学家和数据工程师的必备技能。其分布式架构支持并行内存处理，并可根据需要持久化数据。Spark能够从几乎任何数据源导入数据，并将处理后的数据导出到主流格式和数据库。 掌握Spark是继机器学习和Python之后最重要的职业技能之一。更重要的是，Spark本身就整合了这些能力。通过PySpark，你可以利用Python来使用Spark，并且可以直接使用Spark的内置库来创建机器学习模型。 这门实践性课程将从零开始，教授Spark所有核心特性，包括： * Spark的安装与配置 * Spark核心数据结构：DataFrame * 使用转换(Transformations)和动作(Actions)处理DataFrame * 通过SQL语法在Spark中查询数据 * 创建视图(Views)和执行Joins * 将数据持久化到磁盘，创建Parquet和ORC格式的表 * 从MongoDB、PostgreSQL以及JSON、Parquet等文件格式导入数据 * 创建可执行的命令行应用程序 * 使用Spark进行机器学习：创建模型和进行预测 * 构建机器学习管道(Pipelines) * 使用Spark Structured Streaming处理实时数据 * 通过缓存(Cache)、持久化(Persistence)、分区(Partitioning)和分桶(Bucketing)优化Spark性能 * 在Jupyter Notebooks中使用Spark * 将Spark与Pandas及其他Python库结合使用 * 构建Spark集群 课程还提供可下载的学习资料，如脚本、幻灯片和示例数据。
Bem vindo ao melhor e mais atualizado curso de Spark!Na era "Big Data" o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.Neste curso prático, você vai começar do zero e aprender todas as principais características desta ferramenta. Entre outras coisas você vai:Aprender a instalar e configurar o SparkConhecer o principal objeto de dados: DataFrames do SparkProcessar DataFrames através de transformações e açõesConsultar Dados no Spark com Sintaxe SQLCriar Views e fazer JoinsPersistir dados em disco, criando tabelas em formatos como Parquet e ORCImportar dados de fontes como Mongodb, PostgreSQL e arquivos como Json e ParquetCriar aplicações que você pode rodar na linha de comendoMachine Learning com Spark: crie modelos e faça previsõesConstrua Pipelines de Marchine LearningProcesse dados em tempo real com Spark Structured StreamingOtimize o Spark com Cache, Persistência, Particionamento e BucketingUse Spark com Jupyter NotebooksUse Spark com Pandas e outras bibliotecas do PythonConstrua um Cluster!Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.
