|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/building-big-data-pipelines-with-pyspark-mongodb-bokeh/
课程评论：没有评论
**课程名称：** 使用 PySpark、MongoDB 和 Bokeh 构建大数据管道 **课程概述：** 本课程将指导您构建一个智能数据管道，运用 Apache Spark (PySpark)、MongoDB 和 Bokeh 等大数据技术。您将学习如何搭建一个 ETLP（Extract, Transform, Load, Predict - 抽取、转换、加载、预测）管道，这是数据从原始状态转化为有价值信息所经历的关键阶段。完成的数据管道将能用于构建报告和仪表板，以支持数据分析。 **课程内容亮点：** * **PySpark 数据处理：** 学习如何使用 PySpark 创建和管理数据处理管道。 * **Spark MLlib 机器学习：** 掌握使用 Spark MLlib 库进行地理空间数据的机器学习。 * **数据分析与可视化：** 通过 PySpark、MongoDB 和 Bokeh 在 Jupyter Notebook 中进行数据分析和可视化。 * **数据操作与转换：** 学习如何使用 PySpark DataFrame 来操作、清洗和转换数据。 * **地理空间映射：** 掌握基础的地理空间映射技术。 * **仪表板创建：** 学习如何构建交互式仪表板。 * **轻量级服务器部署：** 了解如何创建轻量级服务器来托管 Bokeh 仪表板。 **核心技术栈：** * **PySpark：** 用于核心的数据处理和转换。 * **MongoDB：** 用于数据存储和分析。 * **Bokeh：** 用于数据可视化和仪表板构建。 * **Jupyter Notebook：** 作为开发和演示环境。 通过本课程，您将获得构建端到端大数据管道的实践经验，能够有效地处理、分析和可视化海量数据。
Welcome to the Building Big Data Pipelines with PySpark & MongoDB & Bokeh course. Inthis course we will be building an intelligent data pipeline using big data technologies likeApache Spark and MongoDB.We will be building an ETLP pipeline, ETLP stands for Extract Transform Load and Predict.These are the different stages of the data pipeline that our data has to go through in order for itto become useful at the end. Once the data has gone through this pipeline we will be able touse it for building reports and dashboards for data analysis.The data pipeline that we will build will comprise of data processing using PySpark, Predictivemodelling using Spark's MLlib machine learning library, and data analysis using MongoDB andBokeh.You will learn how to create data processing pipelines using PySparkYou will learn machine learning with geospatial data using the Spark MLlib libraryYou will learn data analysis using PySpark, MongoDB and Bokeh, inside of jupyter notebookYou will learn how to manipulate, clean and transform data using PySpark dataframesYou will learn basic Geo mappingYou will learn how to create dashboardsYou will also learn how to create a lightweight server to serve Bokeh dashboards
