|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/end-to-end-pyspark-real-time-project-implementation-spark/
课程评论：没有评论
课程名称：PySpark项目 - 从头到尾的实时项目实施 概述：本课程旨在教授学员如何实施一个完整的PySpark实时项目。所使用的技术包括Spark、Python、PyCharm、HDFS、YARN、Google Cloud、AWS、Azure、Hive和PostgreSQL。学员将学习PySpark编程框架以及如何按照行业标准最佳实践组织代码。课程内容涵盖以下几个方面： 1. 在Google Cloud上安装单节点集群并与Spark集成。 2. 在Windows上安装Spark作为独立应用。 3. 将Spark与PyCharm IDE集成。 4. 提供详细的HDFS课程。 5. Python快速入门课程。 6. 理解美国医疗项目的商业模型和项目流程。 7. 创建数据管道，包括数据摄取、数据预处理、数据转换、数据存储、数据持久化以及最终的数据传输。 8. 学习如何在PySpark项目中添加健壮的日志记录配置。 9. 学习如何在PySpark项目中添加错误处理机制。 10. 学习如何将文件传输到AWS S3和Azure Blob存储。 11. 项目设计为可自动化运行。 12. 学习如何在Apache Hive中持久化数据以备将来使用和审核。 13. 学习如何在PostgreSQL中持久化数据以备将来使用和审核。 14. 包括全面的集成测试和单元测试。 本课程将为希望在数据处理和项目实施方面提升技能的学员提供全面的知识和实践经验。
End to End PySpark Real Time Project Implementation.Projects uses all the latest technologies - Spark, Python, PyCharm, HDFS, YARN, Google Cloud, AWS, Azure, Hive, PostgreSQL.Learn a pyspark coding framework, how to structure the code following industry standard best practices.Install a single Node Cluster at Google Cloud and integrate the cluster with Spark.install Spark as a Standalone in Windows.Integrate Spark with a Pycharm IDE.Includes a Detailed HDFS Course.Includes a Python Crash Course.Understand the business Model and project flow of a USA Healthcare project.Create a data pipeline starting with data ingestion, data preprocessing, data transform, data storage ,data persist and finally data transfer.Learn how to add a Robust Logging configuration in PySpark Project.Learn how to add an error handling mechanism in PySpark Project.Learn how to transfer files to AWS S3.Learn how to transfer files to Azure Blobs.This project is developed in such a way that it can be run automated.Learn how to add an error handling mechanism in PySpark Project.Learn how to persist data in Apache Hive for future use and audit.Learn how to persist data in PostgreSQL for future use and audit. Full Integration Test. Unit Test.
