|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/spark-avec-python-pratique-avec-le-big-data-pour-debutants/
课程评论：没有评论
**课程名称：** Spark avec Python - Pratique avec le Big Data pour Débutants **课程概述：** 本课程将带您深入了解 Apache Spark，这一强大的开源框架，已被众多科技巨头和行业广泛采用。Spark 能够高效地分析和处理海量结构化、半结构化和非结构化数据。它利用分布式和内存计算（in-memory）技术，通过网络中的多台机器（集群）加速数据处理。 在本课程中，您只需一台连接互联网的电脑。您将学习如何在本地环境中搭建一个包含 Linux 虚拟机（VM）的开发环境，并下载和配置 Spark、Jupyter Notebook 以及使用 PySpark。 您将使用 Python 语言，循序渐进地掌握 Spark 的核心概念。虽然 Spark 基于 Java 虚拟机（JVM）运行，但本课程将助您平滑过渡，并侧重于 Python 编程，同时介绍函数式编程。 操作 RDD（Apache Spark 的核心引擎）和数据集合也将变得轻而易举。 在 Spark SQL 部分，您将学习如何使用 DataFrame，它可以从以下数据源创建： * 数据集合 * 输入文件（如 CSV、JSON、Parquet） * PostgreSQL 数据库 此外，您还将深入了解实时数据处理（Streaming），本课程将详细讲解 Spark Streaming，并通过实际案例助您快速提升技能。
Sans aucun doute Apache Spark est le framework open source qui a montré sa réussite auprès de plusieurs géant de l'informatique et de l'industrie. Apache Spark nous permet d'analyser et traiter des données massives structurées, semi structurées et non structurées.Apache Spark fonctionne avec de la programmation distribuée et en mémoire (in-memory) afin d'accélérer les traitements et en s'appuyant sur plusieurs machines d'un réseau ( Cluster ).Dans cette formation vous aurez besoin uniquement d'un PC connecté à internet. Vous allez apprendre à mettre en place un environnement local avec une machine Virtuelle Linux (VM), télécharger Spark, Jupyter Notebook et la configuration de Spark en utilisant Pyspark.Vous allez vous familiariser avec les principes fondamentaux de Spark en utilisant le langage Python.Apache Spark fonctionne en Java virtuel machines (JVM). Vous aurez une mise à niveau en douceur avec le langage de programmation Python avec une initiation à la programmation fonctionnelle.Manipuler un RDD (le caur moteur de Apache Spark) avec des collections de données sera un jeux d'enfant.Vous allez découvrir dans la partie Spark SQL les DataFrame à partir:· d'une collection de données,· des fichiers en entrée tel que csv, Json, Parquet· de base de données PostgreSQLSurement vous avez entendu parler des traitements des données qui arrivent en temps réel, sous le nom Streaming. Une Partie de cette formation bien détaillée vous attend afin que vous puissiez monter en compétence rapidement avec Spark Streaming avec des cas pratiques.
