|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/gcp-data-engineering-end-to-end-project-retailer-domain/
课程评论：没有评论
课程名称：GCP 数据工程 - 端到端项目 - 零售领域 课程概述： 本项目专注于在谷歌云平台（GCP）中为零售领域构建数据湖，旨在集中存储、清理和转化来自多个来源的数据，从而帮助零售商和保险公司简化账单处理、索赔处理和收入跟踪。 使用的GCP服务： - Google Cloud Storage (GCS)：用于存储原始和处理后的数据文件。 - BigQuery：作为存储和查询结构化数据的分析引擎。 - Dataproc：用于大规模数据处理，采用Apache Spark。 - Cloud Composer (Apache Airflow)：自动化ETL管道及工作流编排。 - Cloud SQL (MySQL)：存储事务性电子病历（EMR）数据。 - GitHub & Cloud Build：支持版本控制及CI/CD实施。 - CICD（持续集成与持续部署）：自动化数据处理和ETL工作流的部署管道。 涉及的技术： - 元数据驱动的方法 - SCD（慢变维）类型2的实现 - CDM（通用数据模型） - 冠军架构 - 日志记录与监控 - 错误处理 - 优化 - CICD实施及许多最佳实践 数据来源： - 来自两家医院的电子病历（EMR）数据 - 索赔文件 - 当前程序术语（CPT）代码 - 国家供应者标识符（NPI）数据 预期成果： - 高效的数据管道：自动化收入周期管理（RCM）数据的摄取与转化。 - 结构化的数据仓库：用于分析查询的金表在BigQuery中。 - KPI仪表板：提供收入收集、索赔处理效率及财务趋势的洞察。 本课程将帮助参与者掌握如何在GCP上构建强大的数据解决方案，并运用多种技术和工具，提高零售行业的数据处理能力。
This project focuses on building a data lake in Google Cloud Platform (GCP) for Retailer DomainThe goal is to centralize, clean, and transform data from multiple sources, enabling Retailers providers and insurance companies to streamline billing, claims processing, and revenue tracking.GCP Services Used:Google Cloud Storage (GCS): Stores raw and processed data files.BigQuery: Serves as the analytical engine for storing and querying structured data.Dataproc: Used for large-scale data processing with Apache Spark.Cloud Composer (Apache Airflow): Automates ETL pipelines and workflow orchestration.Cloud SQL (MySQL): Stores transactional Electronic Medical Records (EMR) data.GitHub & Cloud Build: Enables version control and CI/CD implementation.CICD (Continuous Integration & Continuous Deployment): Automates deployment pipelines for data processing and ETL workflows.Techniques involved: Metadata Driven ApproachSCD type 2 implementationCDM(Common Data Model)Medallion Architecture Logging and MonitoringError HandlingOptimizationsCICD implementationmany more best practicesData SourcesEMR (Electronic Medical Records) data from two hospitalsClaims filesCPT (Current Procedural Terminology) CodeNPI (National Provider Identifier) DataExpected OutcomesEfficient Data Pipeline: Automating the ingestion and transformation of RCM data.Structured Data Warehouse: gold tables in BigQuery for analytical queries.KPI Dashboards: Insights into revenue collection, claims processing efficiency, and financial trends.
