|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/master-google-cloud-dataflow-and-apache-beam/
课程评论：没有评论
**课程总结：掌握 Google Cloud Dataflow 与 Apache Beam** 本课程是一门深入讲解 Apache Beam 和 Google Cloud Dataflow 的高级课程，适合所有学习层次的学生。只需具备基础 Java 知识即可入门。课程设计注重实践，每个知识点都配有练习环节，旨在帮助学员建立信心，能够独立完成使用这些技术相关的项目。 **核心内容概览：** * **Apache Beam 基础：** 学习 Apache Beam 的核心概念，包括流水线（pipelines）的构建、流水线选项（pipeline options）的配置。 * **核心转换操作：** 掌握用户自定义函数（User Defined Functions）的实现（ParDo），以及 `GroupByKey` 和 `CoGroupByKey` 的应用。 * **数据聚合与操作：** 学习使用 `Combine` 函数进行数据聚合，并通过 `Flatten` 合并多个数据集。 * **高级流水线设计：** 探索如何使用 `MultiOutput` 生成多个数据集，以及如何利用 Side Inputs 增强流水线功能。 * **Schema 的应用：** 学习如何在 Apache Beam 中使用 Schema 进行数据过滤、分组和连接（Join）。 * **状态化流水线：** 理解并实现状态化流水线（Stateful pipelines），运用 State 和 Timer 实现更复杂的逻辑。 * **自定义指标：** 为您的流水线添加自定义指标（Custom Metrics）。 * **Beam SQL：** 学习使用简单的 SQL 语句来构建 Apache Beam 流水线。 * **时间管理与窗口：** 深入学习窗口（Windowing）的概念，包括固定时间窗口（Fixed time）、滑动窗口（Sliding）、全局窗口（Global）和会话窗口（Session）。同时，掌握水印（Watermark）和触发器（Triggers）的使用。 * **云计算基础：** 了解云计算平台的基本概念。 * **Google Cloud Dataflow：** 学习 Amazon Web Services (AWS) 的托管 Apache Beam 运行器 Google Cloud Dataflow。 * **在 Cloud Dataflow 上运行流水线：** 掌握将 Apache Beam 流水线部署到 Cloud Dataflow 上运行的流程。 * **内置模板的使用：** 介绍 Google Cloud Dataflow 提供的丰富内置模板。 * **自定义模板的构建：** 学习如何使用经典模式（Classic mode）和 Flex 模式（Flex mode）来构建自定义模板，将您在 Beam 实践中创建的流水线转化为可复用的模板。
This is an advanced course on Apache Beam and Google Cloud Dataflow. This course is suitable for students of All levels. Basic Java knowledge is sufficient to start this course. Every concept is provided with practice sessions which will provide confidence to work on such projects where these technologies are used. Following are some of the important sections in this training,Apache Beam overviewWorking with beam pipelinesPipeline optionsUser Defined Functions using ParDoGroupByKeyCoGroupByKeyAggregate data using Combine functionMerge Data using FlattenGenerate Multiple Dataset using MultiOutputUse Side InputsSchema in Apache beam - Filter, Group and Join the data using SchemaStateful pipelines using State and TimerAdd Custom Metrics to your pipelineBeam SQL - use simple SQLs to build beam pipelinesSplittable DoFnWindowing in Apache Beam - Fixed time, Sliding , Global, SessionWatermark and TriggersLearn basics of Cloud computing platformsCloud Dataflow - Know about the Managed Apache Beam runner from Google Cloud PlatformRun your pipeline in Cloud DataflowHow to use built in Templates - introducing the wide variety of built-in templates provided by Google Cloud DataflowCustom templates using Classic and Flex mode - Build custom templates using the beam pipelines created in the beam practice
