|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/apache-nifi-latest-course/
课程评论：没有评论
Coursera 课程总结：Apache NiFi (Cloudera DataFlow) 结合免费实验 本课程为 2024 年最新更新的 Apache NiFi（Cloudera DataFlow）全面课程。 **课程核心内容涵盖：** * **NiFi 概览与安装：** 介绍 NiFi 的基本概念、架构以及安装部署。 * **NiFi 用户界面与术语：** 熟悉 NiFi 的操作界面，理解常用术语。 * **数据流处理基础：** * 读取源文件并写入目标系统。 * 学习 Avro Schema 定义。 * 使用 Update Processor 进行记录转换。 * 读取 CSV 文件，进行查找和分区。 * 通过新增列丰富数据。 * 利用 NiFi Functions 实现功能。 * 根据列对记录进行分区。 * **SplitRecord Processor：** 将大文件分割成小文件，方便传输。 * **JSON 数据处理：** 掌握与 JSON 相关处理器。 * **数据去重：** 处理文件级别的重复和记录级别的重复。 * **大数据集成：** * 写入 Hbase。 * 写入 Hadoop HDFS。 * 与数据库的读写操作，包括 H2、PostgreSQL 和 Oracle。 * **自定义脚本：** * 运行自定义 Python 脚本。 * 在 NiFi 中使用 SQL 查询。 * **HTTP 数据交互：** S 示如何通过 HTTP 端点接收数据，使用 HandleHttpRequest 和 HandleHttpResponse Processor。 * **可视化与代码版本控制：** * 组织和创建模板。 * 配置 NiFi Registry，实现代码版本控制。 * 创建和共享数据流模板。 * 构建可重用的数据流策略。 * **数据溯源：** * 理解和分析 NiFi Provenance 数据。 * 使用 CountText, LogAttribute, LogMessage, AttributeToCSV 等处理器。 * **NiFi 集群：** 了解 NiFi 集群的配置和工作原理。 本课程旨在帮助学习者全面掌握 Apache NiFi 的各项功能，实现高效、可靠的数据流管理。
Finally, A complete course on Apache NiFi fully updated in 2024. Here is what you're going to learn in this course.NiFi Overview and InstallationApache NiFi Overview and InstallationNiFi User Interface OverviewUnderstanding NiFi common TerminologiesNiFi ProcessorsReading Source Files and Writing to DestinationUnderstanding Avro Schema DefinitionRecord Transformation Using Update ProcessorReading CSV Files and Performing Lookups and PartitioningEnriching Data with adding New ColumnsNiFi FunctionsPartitioning Records based on ColumnsNiFi SplitRecord ProcessorSplitting Large files into Smaller Files before transferring to target systemUnderstanding JSON Related PRocessorsHandling DuplicationsHandling File DuplicationsHandling Record Level DuplicationsBig DataWriting to HbaseWriting to Hadoop HDFSReading and Writing to DatabasesReading from H2 DatabaseReading and Writing Using PostgreSQLReading and Writing to Oracle DatabaseCustom ScriptsRunning Custom Python ScriptOther Important StuffUsing SQL Query in NiFiReceiving Data over HTTP endpointHandleHttpRequest and HandleHttpResponse ProcessorOrganizing TemplatesSetup NiFi Registry and Code VersioningCreating Templates, Sharing FlowCreating a Reusable Data Flow StrategyNiFi Provenance DataReading NiFi Provenance dataCountText, LogAttribute, LogMessage, AttributeToCSV ProcessorUnderstanding NiFi ClusteringI hope the course helps you to reach your goal. Please do not forget to let me know any other topic which you would like to be added in this course.
