|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/pyspark-end-to-end-developer-course-spark-with-python/
课程评论：没有评论
课程名称：PYSPARK端到端开发者课程（与Python一起使用Spark） 课程概述： 本课程将为您提供PySpark的全面介绍，涵盖了Spark的基础知识及其主要组件。课程内容包括HDFS命令的使用，Python入门，Spark开发的原因及其特性。您将学习到Spark的核心概念，如SparkSession、RDD（弹性分布式数据集）的基本原理及其属性，以及何时使用RDD和如何创建RDD。 接下来，课程深入探讨RDD的各种操作和转换，包括低级转换、连接类型、聚合、打乱、合并、排序、排名、集合、抽样和分区操作等。此外，您还将了解Spark集群执行架构，包括YARN作为Spark集群管理器的架构、集群中JVM的使用以及执行框架中的常用术语。 课程内容还包括RDD的持久化、共享变量，以及SparkSQL的架构和详细特性。您将学习DataFrame的基本概念，包括数据类型、行、列及其ETL（提取、转换、加载）过程，涉及DataFrame的各种API，如选择、过滤、排序、连接和聚合等操作。 最后，课程将提供关于性能和优化的知识，帮助您提升在实际应用中的效率。 本课程是希望掌握PySpark并在大数据处理与分析中应用其技能的开发者的理想选择。
Introduction to Spark.HDFS CommandsPython Course.Why Spark was developed.What is Spark and its features.Spark Main Components.Introduction to Spark.HDFS CommandsIntroduction to SparkSessionRDD FundamentalsWhat is RDDRDD PropertiesWhen to use RDDRDD ProblemsCreate RDDDifferent Ways to Create RDDsRDD OperationsTransformations - Low LevelTransformations - Join TypesActions - Total AggregationsShuffle and CombinerTransformations - Key AggregationsTransformations - SortingTransformations - RankingTransformations - SetTransformations - SamplingTransformations - PartitionTransformations - RepartitionTransformations - Repartition and SortTransformations - CoalesceTransformations - Repartition Vs CoalesceExtractionSpark Cluster Execution Architecture_Full ArchitectureSpark Cluster Execution Architecture_YARN As Spark Cluster ManagerSpark Cluster Execution Architecture_JVMs across ClustersSpark Cluster Execution Architecture- Commonly Used Terms in Execution FrameworkSpark Cluster Execution Architecture - Narrow and Wide TransformationsSpark Cluster Execution Architecture - DAG SchedulerSpark Cluster Execution Architecture - Task SchedulerRDD PersistenceSpark Shared VariablesSparkSQL ArchitectureDetailed SparkSession FeaturesDataFrame FundamentalsDatatypesDataFrame RowsDataFrame ColumnsDataFrame ETLDataFrame ETL_Introduction to Transformations and ExtractionDataFrame ETL_DataFrame APIs Introduction ExtractionDataFrame ETL_DataFrame APIs SelectionDataFrame ETL_DataFrame APIs Filter or WhereDataFrame ETL_DataFrame APIs SortingDataFrame ETL_DataFrame APIs SetDataFrame ETL_DataFrame APIs JoinDataFrame ETL_DataFrame APIs AggregationsDataFrame ETL_DataFrame APIs GroupByDataFrame ETL_DataFrame APIs WindowsDataFrame ETL_DataFrame Built-in Functions IntroductionPerformance and Optimization
