|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/apache-kafka-and-streams/
课程评论：没有评论
## Coursera 课程摘要：Apache Kafka 基础与数据处理 本课程将深入探讨 Apache Kafka，一个被广泛应用于高性能数据管道、流分析、数据集成和关键任务应用的开源分布式事件流平台。课程旨在帮助学习者克服官方文档的复杂性，通过结合理论与实践，全面掌握 Kafka 的核心概念和高级用法。 **课程亮点：** * **深入理解 Consumer Group：** 探索 Consumer Group 内部工作原理，学习如何构建自定义 Partitioner 以实现更高的性能。 * **掌握消息传递语义：** 重点关注数据流处理中的关键挑战——消息去重和防止消息丢失，确保数据的一致性和可靠性。 * **Kafka Streams API：** 学习使用 Kafka Streams API 构建强大的流处理应用程序。 * **KStream & KTable：** 理解 KStream 和 KTable 的区别，以及何时使用它们，包括 GlobalKTable 的应用。 * **Stateless & Stateful Operations：** 掌握无状态和有状态操作，以及 Stream 函数的终端和中间操作。 * **State Management：** 学习如何有效地利用 State 进行数据处理。 * **实践导向：** 通过真实场景示例，如事务性流应用程序，学习如何利用分区处理海量数据，并实现数据的即时过滤。 **课程结构：** 本课程分为两个主要部分：Kafka 基础和 Kafka Streams。通常这两个主题会分开教授，但本课程将其整合，提供一套完整的学习体验。 **学习目标：** 课程结束后，您将能够： * 理解 Kafka 的核心架构和组件。 * 有效管理和优化 Kafka 集群。 * 设计和实现可靠的流处理逻辑。 * 利用 Kafka Streams 构建复杂的数据处理应用程序。 这门课程适合希望深入了解 Kafka 并将其应用于实际数据处理场景的开发者和数据工程师。
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.Bəli, mən məhz Kafkanı öz rəsmi saytında olduğu kimi təqdim etdim. Ancaq Kafkanı rəsmi dokumentasiyadan dərin öyrənmək o qədər də asan deyil. Bu səbəbdən qərar verdim ki, öz təcrübələrim əsasında bu kursu hazırlayım. Kurs boyu müxtəlif problemlərə toxunmuşam və teoriya-praktika yanaşması ilə kursu darıxdırıcı etməmişəm. Belə ki, kurs boyu Consumer Group -un daxilən necə işlədiyini, öz xüsusi partitioner -larımız yaratmaqla daha yüksək performansa çatmağı oyrənəcəyik. Həmçinin, mesajların çatdırılma semantikalarına yaxından baxacayıq. Çünki Streamin processing-də ən böyük problem və eyni anda ən vacib amil, mesajlarda duplikatlara yol verməmək və həmçinin mesajların itirilməsinin qarşısını almaqdır. Ümumiyyətlə kurs 2 hissədən ibarətdir. Kafkanın əsasları və Kafka Streaming. Adətən bu 2 mövzu özləri ayrı bir mövzudur. Qərara aldım ki, bu 2 kursu 1 kurs şəklində sizə təqdim edim.2ci hissədə Kafka Streams API ilə tanış olacayıq. KStream nümunəyə baxacayıq, stateless və statefull operation-larla işləyəcəyik. terminal və intermediate stream funksiyaların nə olduğunu öyrənəcəyik və State -lərdən istifadə edəcəyik. Həmçinin KTable -ilə KStream fərqinə, nə zaman KTable istifadə edilməlidi və GlobalKTable -in nə olduğunu öyrənəcəyik.Kursun sonunda, siz artıq partitionlardan necə istifadə etmək lazım olduğunu, böyük dataların ani anda necə filtirlənməyini oyrənəcəksiz. Nümunə kimi isə Tranzaksiya based strams application -a baxacayıq.
