|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/kafka-connect-building-data-pipelines-with-kafka/
课程评论：没有评论
**课程名称：** Kafka Connect - 使用 Kafka 构建数据管道 **课程概述：** 本视频课程将深入探讨 Kafka Connect，以及如何利用它在 Apache Kafka 与外部系统之间高效地迁移数据。课程将从 Kafka Connect 及其核心组件（连接器、任务、工作节点）的介绍开始，并阐述 Kafka Connect 如何在 Kafka 主题中存储数据。 鉴于 Kafka Connect 需要运行的 Kafka 集群，课程还将指导您如何在 Docker 容器中运行 Apache Kafka，并演示如何使用基本的 Kafka 命令行工具创建、列出主题以及消费消息。 随后，课程将重点关注 Kafka Connect 的实际应用，您将学会： * 下载和安装 Kafka Connect。 * 使用 Kafka 命令行工具和 Docker 在独立模式下运行 Kafka Connect。 * 使用 Kafka 命令行工具和 Docker 在分布式模式下运行 Kafka Connect。 此外，课程还会介绍如何通过 Kafka Connect 的 REST API 来管理 Kafka Connect 集群，包括如何检查连接器状态、重启连接器以及使用简单的 HTTP 请求移除连接器。 为了实际演示，课程将利用 Kafka Connect 完成以下数据迁移任务： * 使用源连接器将数据从 MySQL 迁移到 Kafka。 * 使用汇（sink）连接器将数据从 Kafka 迁移到 PostgreSQL。 课程还将演示如何通过 Docker 运行 MySQL 和 PostgreSQL 数据库，让您无需手动安装任何软件即可在本地进行测试。 **目标听众：** 本课程对初学者友好，无需任何 Kafka Connect 的先验知识。 **课程成果：** 完成本课程后，您将能够构建一个端到端的数据管道，实现从源数据库到 Kafka 的数据流式传输，再从 Kafka 到目标数据库的传输。
This video course is about Kafka Connect and how to use it to move data between Apache Kafka and external systems.You will start by learning what Kafka Connect is and how its core components work. I will explain the role of connectors, tasks, workers, and how Kafka Connect stores data in Kafka topics.Since Kafka Connect needs a running Kafka cluster, you will also learn how to run Apache Kafka in Docker containers. I will show how to use basic Kafka CLI tools to create topics, list them, and consume messages.Then we will focus on Kafka Connect.You will learn how to:Download and install Kafka Connect,Run Kafka Connect in standalone mode using Kafka CLI and Docker,Run Kafka Connect in distributed mode using Kafka CLI and Docker.I will also show how to manage Kafka Connect clusters using its REST API. You will learn how to check connector status, restart connectors, and remove them using simple HTTP requests.We will use Kafka Connect to:Move data from MySQL to Kafka using a source connector,Move data from Kafka to PostgreSQL using a sink connector.So, I will also show how to run MySQL and PostgreSQL databases in Docker. You'll be able to test everything on your machine without installing anything manually.This course is beginner-friendly. You do not need to have any prior knowledge of Kafka Connect. By the end of this course, you will have a working data pipeline that streams data from a source database to Kafka and then from Kafka to a destination database.
