|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/learn-sql-data-analysis-in-pyspark/
课程评论：没有评论
**课程名称：** 使用 PySpark 学习大数据分析 **课程概述：** 本课程将深入介绍 Apache Spark，一个在处理大数据分析方面极为强大的工具。Spark 以其卓越的性能脱颖而出，它能够在内存中将程序运行速度提高 100 倍，在磁盘上也快 10 倍于 Hadoop MapReduce。此外，Spark 支持实时和近实时数据分析，并能高效处理海量数据。 本课程的亮点在于，您将能够使用简单易懂的 Python 编程语言来执行这些操作。通过结合 Spark、Python 和 SQL，您将掌握分析超出传统关系型数据库处理能力的大数据的方法。 **学习内容：** * **Spark 基础：** 了解 Spark 的概念、运行机制以及数据在 Spark 环境中的存储方式。 * **Python 环境配置：** 学习如何配置 Python 编程环境以运行 Spark 代码。 * **实际大数据分析：** 通过实际大数据集进行数据分析的实践操作。 * **数据处理：** * 将大数据文件导入 Python。 * 进行数据清洗与转换，为分析做好准备。 * **业务分析：** * 利用 Spark 的多种功能进行业务分析。 * 在 PySpark 中编写 SQL 查询以进行数据分析。 * 从商业角度解读分析结果。 通过本课程，您将获得使用 PySpark 进行高效、快速大数据分析的技能，并能将其应用于实际业务场景。
Apache Spark is one of the most powerful tools used in big data analysis because:It's Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk.· It can run real and semi-real time data analysis.· It can handle large scale of data.· It can be run using simple code in Python programming language.You can use the easy commands in Python and SQL languages, to run data analysis on big data that cannot or difficult to import inside relational database engines. This combination of Spark, Python and SQL create a powerful work environment to analyze big data easier and faster. In this course, you will learn: What is Spark, how does it run, and how data are stored in Spark work environment. You will learn how to configure Python programming environment to run Spark code. Also, you will learn performing data analysis using real big data. In addition, you will learn to import big data files inside Python. You will learn to clean and transform data for analysis purpose. You will learn conducting business analysis using several Spark functions. You will learn to create SQL queries inside PySpark to run data analysis. After that you will learn how to interpret the results from business perspective.
