|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/hands-on-kafka-connect/
课程评论：没有评论
**课程名称：** Hands-on Kafka Connect: Source to Sink in S3, GCS & Beyond **课程概述：** 本课程专注于 Kafka Connect 及其开源连接器。课程首先介绍 Kafka Connect 的基本概念、架构以及其丰富的连接器生态系统。 **主要内容：** * **Kafka Connect 基础：** 深入理解 Kafka Connect 是什么，以及它的核心架构。 * **S3 Sink 连接器详解：** * 学习 S3 Sink 连接器的作用。 * 通过独立模式（Standalone Mode）和分布式模式（Distributed Mode）安装和配置 S3 Sink 连接器，并比较两者的区别。 * 探索不同的分区类（Partitioner Class），包括默认分区类（Default Partitioner）、基于时间的と分区类（Time Based Partitioner）、基于字段的分区类（Field Partitioner），并提供示例。 * 学习如何将 Kafka Connect 与 Schema Registry 集成，并在 BACKWARD 兼容模式下测试 Schema 演进。 * 理解死信队列（DLQ）的概念，并通过发送非法记录到 Kafka 来进行测试。 * 利用 Docker Compose 自动化创建 S3 Sink 连接器的过程。 * **Kafka Connect 集群的搭建与测试：** * 在 AWS 上配置两台机器，并在这两台机器上启动 S3 Sink 连接器的 Worker 进程。 * 全面测试 Kafka Connect 集群的负载均衡（Load Balancing）和容错（Fault Tolerance）能力。 * **Debezium MySQL CDC Source 连接器：** * 深入了解 Debezium CDC（Change Data Capture）连接器的工作原理。 * 使用 Docker 命令在分布式模式下启动 Debezium MySQL 连接器。 * 执行 DML 操作（如 INSERT, UPDATE, DELETE）并学习相应的事件 Schema 变化。 * 执行 DDL 操作（如 DROP TABLE）并观察 Schema 历史 Kafka Topic 如何捕获这些变化。 * 将 Debezium MySQL 连接器与 Schema Registry 集成，并通过执行 DDL 和 DML 语句来测试此集成。 **总结：** 本课程通过实践操作，全面讲解了 Kafka Connect 的使用，包括如何将数据从 Kafka 写入 S3 等云存储（Sink），以及如何从 MySQL 数据库捕获数据变化并将其发送到 Kafka（Source），并涵盖了集群搭建、Schema 管理和容错等重要主题。
This course is a completely dedicated to Kafka Connect and exploring its open sourced connectors. There are plenty of connectors available in Kafka Connect. To begin with, I have added a sink connector and a source connector to this course. We start this course by learning what is Kafka connect and its architecture. In the 2nd module, we learn S3 Sink connector in detail. At first, we learn what is s3 sink connector and we install it using Standalone mode. Next, we run the same configurations using distributed mode so that you get the clear difference between them. We explore below Partitioner Class with examplesDefault PartitionerTime Based PartitionerField PartitionerAfter that, we learn how to integration Kafka connect with Schema Registry and test the schema evolution in BACKWARD compatibility mode.Next, we learn what is DLQ and test it by generating invalid records to Kafka. Lastly, We automate, creating s3 sink connector using a single command with the help of Docker composer.Module 3 is dedicated to setting up a Kafka connect cluster.Here, we provision 2 machine from AWS and start s3 sink connector worker process in both machines. We thoroughly test the Load Balancing and Fault Tolerance behaviour of our Kafka connect cluster.In Module 4, we explore a popular source connector. That is Debezium Mysql CDC Source connector.Here, At first, we learn how Debezium CDC connector works internally. Then we start our Debezium mysql connector in distributed mode using docker commands. After that, we run DML statements like insert, update and delete queries and learn the respective event schema changes. Similarly, we run DDL statements like dropping a table etc and observe how schema history Kafka topic capture the event changes. Lastly, we integrate it with Schema Registry and test the setup by running DDL & DML statement.
