|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/apache-airflow-on-aws-eks-the-hands-on-guide/
课程评论：没有评论
## Coursera 课程总结: 在 AWS EKS 上部署 Apache Airflow 的实战指南 **课程名称:** Apache Airflow on AWS EKS: The Hands-On Guide **课程概述:** 本课程旨在帮助已经熟悉 Apache Airflow 的学员，解决在 AWS EKS (Elastic Kubernetes Service) 上配置生产级 Airflow 架构的难题。课程将提供一套完整的“从零开始”的指南，涵盖在 EKS 上部署高可用、可扩展且安全可靠的 Airflow 环境的所有关键步骤。 **核心内容与亮点:** * **EKS 集群配置:** 详细讲解如何遵循最佳实践配置 AWS EKS 集群，为其提供一个坚实的基础。 * **GitOps 自动化部署:** 介绍如何利用 GitOps 的理念，实现 Airflow 配置和更改的自动化部署。 * **Helm 部署与配置:** 教授如何使用 Helm 来配置和部署 Airflow 到 Kubernetes，并详细讲解 Airflow 官方 Helm Chart 的各种高级配置，特别是 Kubernetes Executor 的使用。 * **DAGs 部署与管理:** 演示如何通过 Git-Sync 和 AWS EFS 实现 DAGs 的高效部署，以及如何通过 AWS CodePipeline 将 DAGs/Airflow 的部署集成到 CI/CD 流程中。 * **自动化测试:** 讲解如何实现 DAGs 的自动化测试，确保其稳定性和正确性。 * **安全加固:** 重点介绍如何安全地管理敏感信息，包括使用 Secret Backend 来保护凭证和敏感数据。 * **远程日志与高可用:** 教授如何利用 AWS S3 实现远程日志记录，并构建可扩展、高可用的生产环境。 * **多环境管理:** 指导学员如何创建和管理开发 (dev)、预发布 (staging) 和生产 (prod) 三个不同的 Airflow 环境。 **学习前提:** * **必须熟悉 Apache Airflow:** 本课程**不**教授 Airflow 的基础知识。 * **强烈建议熟悉 Kubernetes、Docker 和 AWS:** 虽然课程会对必要知识进行解释，但具备相关经验会让学习更轻松。 * **不包含 DAG 编写或 AWS API 交互:** 课程的重点是架构设计，而不是如何在 DAG 中与 AWS 服务交互。 **重要提示:** * **非免费课程:** 由于涉及多种 AWS 服务并构建真实世界的生产级架构，本课程**不**符合 AWS 免费套餐的条件。 **总之，这是一门面向有经验的学习者，旨在快速、可靠地在 AWS EKS 上构建和管理生产级 Apache Airflow 环境的实战课程。**
Struggling to set up Airflow on AWS EKS?You are at the right place!With more than 15,000 students, I got many feedbacks about how difficult it is to configure Airflow on AWS with the official Helm chart.Guess what? You are about to learn everything you need to set up a production-ready architecture for Apache Airflow on AWS EKSThis course is designed to guide you through the different steps of creating a real world architecture:Configuring the EKS cluster following best practicesDeploying automatically changes with GitOpsUsing Helm to configure and set up Airflow on KubernetesConfiguring the official Helm chart of Airflow to use the Kubernetes Executor and many different featuresDeploying DAGs in Airflow with Git-Sync and AWS EFSDeploying DAGs/Airflow through CI/CD pipelines with AWS CodePipelineTesting your DAGs automaticallySecuring your credentials and sensitive data in a Secret BackendEnabling remote logging with AWS S3Creating 3 different environments dev/staging and prodMaking the production environment scalable and highly availableand more!WARNING: The course is not meant to learn the basic of Airflow, you must be already familiar with it.If you already know Kubernetes/Docker/AWS your learning will be easier, but no worries I explain everything you need.YOU WON'T learn how to interact with AWS in your DAGs. This course is about designing an architecture not about DAGs.The course is NOT free-tier eligible as we are going to use many AWS services and set up a real world architecture.
