|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/gcp-data-engineering-end-to-end-project-healthcare-domain/
课程评论：没有评论
课程名称：GCP数据工程——医疗领域的端到端项目 课程概述：本项目旨在为医疗领域的收入周期管理（RCM）在谷歌云平台（GCP）上构建数据湖。通过集中、清理和转换来自多个来源的数据，使医疗服务提供者和保险公司能够优化账单、索赔处理和收入跟踪。 使用的GCP服务： - Google Cloud Storage (GCS)：用于存储原始和处理后的数据文件。 - BigQuery：作为存储和查询结构化数据的分析引擎。 - Dataproc：利用Apache Spark进行大规模数据处理。 - Cloud Composer（Apache Airflow）：自动化ETL管道和工作流编排。 - Cloud SQL (MySQL)：存储事务性电子病历（EMR）数据。 - GitHub与Cloud Build：实现版本控制和持续集成/持续部署（CI/CD）。 技术方法： - 元数据驱动的方法 - SCD（慢变维）类型2实现 - CDM（通用数据模型） - 改良架构 - 日志记录和监控 - 错误处理 - 优化 - CI/CD实施 - 其他最佳实践 数据源： - 来自两家医院的电子病历（EMR）数据 - 索赔文件 - CPT（当前程序术语）代码 - NPI（国家提供者标识符）数据 预期成果： - 高效数据管道：实现RCM数据的自动化摄取和转换。 - 结构化数据仓库：在BigQuery中创建用于分析查询的黄金表。 - KPI仪表板：提供有关收入收集、索赔处理效率和财务趋势的洞察。 本课程旨在帮助参与者掌握医疗领域数据工程的完整流程，利用GCP构建高效的数据解决方案。
This project focuses on building a data lake in Google Cloud Platform (GCP) for Revenue Cycle Management (RCM) in the healthcare domain. The goal is to centralize, clean, and transform data from multiple sources, enabling healthcare providers and insurance companies to streamline billing, claims processing, and revenue tracking.GCP Services Used:Google Cloud Storage (GCS): Stores raw and processed data files.BigQuery: Serves as the analytical engine for storing and querying structured data.Dataproc: Used for large-scale data processing with Apache Spark.Cloud Composer (Apache Airflow): Automates ETL pipelines and workflow orchestration.Cloud SQL (MySQL): Stores transactional Electronic Medical Records (EMR) data.GitHub & Cloud Build: Enables version control and CI/CD implementation.CICD (Continuous Integration & Continuous Deployment): Automates deployment pipelines for data processing and ETL workflows.Techniques involved: Metadata Driven ApproachSCD type 2 implementationCDM(Common Data Model)Medallion ArchitectureLogging and MonitoringError HandlingOptimizationsCICD implementationmany more best practicesData SourcesEMR (Electronic Medical Records) data from two hospitalsClaims filesCPT (Current Procedural Terminology) CodeNPI (National Provider Identifier) DataExpected OutcomesEfficient Data Pipeline: Automating the ingestion and transformation of RCM data.Structured Data Warehouse: gold tables in BigQuery for analytical queries.KPI Dashboards: Insights into revenue collection, claims processing efficiency, and financial trends.
