|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/data-lake-firehose-glue-athena-s3-and-aws-sdk-for-net/
课程评论：没有评论
**课程名称：** 数据湖、Firehose、Glue、Athena、S3 及 AWS SDK for .NET **课程概述：** 本课程旨在通过一系列 AWS 控制台实验，演示如何在 AWS 生态系统中构建数据湖。课程将重点介绍 AWS Kinesis Data Firehose、AWS Glue、S3、Athena 以及使用 C# 和 AWS SDK for .NET 构建数据湖的概念和实践。 **核心内容：** * **数据湖的构建：** 学习如何利用 AWS 的各项服务搭建完整的数据湖架构。 * **数据迁移：** 演示如何安全、自动地将本地 SQL Server 数据库的数据迁移到 AWS RDS。 * **AWS SDK for .NET：** 重点讲解如何使用 .NET SDK 与 AWS 服务进行交互，并提供完整的 C# 源代码。 * **Parquet 文件处理：** 演示如何创建 Parquet 文件并将其发送到 S3（不使用 Firehose）。 * **概念迁移：** 课程教授的通用概念可以轻松迁移到其他编程语言。 **学习目标：** 学员将能够： * 理解数据湖的核心概念及在 AWS 中的实现方式。 * 熟练使用 AWS Kinesis Data Firehose、AWS Glue、S3 和 Athena 等服务。 * 掌握使用 AWS SDK for .NET 与 AWS 服务进行集成。 * 学会将本地数据安全地迁移到 AWS。 * 了解 Parquet 文件的创建和管理。 **适用人群：** * 对构建和管理数据湖感兴趣的开发者、数据工程师和解决方案架构师。 * 希望利用 AWS 服务进行大数据分析的 .NET 开发者。 * 需要将本地数据迁移到云端并进行有效管理的工程师。
The purpose of this class is to demonstrate a proof of concept using a series of lab exercise's (in the AWS Console using AWS Kinesis Data Firehose, AWS Glue, S3, Athena and the AWS SDK, with C# code using the AWS SDK) of building a Data Lake in the AWS ecosystem.In this class, we will be sending data from a local SQL Server database to AWS RDS securely, and automatically.I am utilizing the.NET SDK for AWS, however, this could easily be migrated to your language of choice once you understand the concepts that I am teaching. I will be providing the full working source code of this proof of concept.I will also provide a working example of creating Parquet files and sending to S3 (without using Firehose).
