|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/apache-sqoop-and-flume/
课程评论：没有评论
Coursera课程总结：Hadoop数据导入（Sqoop与Flume工具） 本课程专注于使用Apache Sqoop和Flume这两个强大的工具在Hadoop生态系统和关系型数据库（RDBMS）之间进行高效的数据传输。 **Apache Sqoop** 是一款用于在Hadoop与RDBMS之间转移数据的工具。它能够将MySQL、Oracle等传统数据库中的数据导入到Hadoop分布式文件系统（HDFS），也能将HDFS中的数据导出到RDBMS。 课程将深入讲解Sqoop的主要内容，包括： * **Apache Hadoop 概览**：为理解Sqoop的应用打下基础。 * **Sqoop 导入过程**：详细介绍数据从RDBMS进入Hadoop的流程。 * **基础 Sqoop 命令**：掌握常用的Sqoop操作指令。 * **导入与导出过程中的不同文件格式**：学习如何处理各种数据格式。 * **压缩导入数据**：了解数据压缩的技术和应用。 * **暂存表概念**：理解在数据导入过程中暂存表的作用。 * **Sqoop2 工具的架构与特性**：探讨Sqoop新版本的功能和设计。 **Apache Flume** 是一款分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。 课程还将涵盖Flume的各项重要概念，包括： * **Flume 架构**：理解Flume的整体设计和组件。 * **Flume 事件 (Events)**：掌握Flume数据传输的基本单元。 * **拦截器 (Interceptors) 和通道选择器 (Channel Selectors)**：学习如何定制和控制Flume的数据流。 * **Sink 处理器 (Sink Processors)**：了解数据如何被发送到目的地。 通过本课程的学习，学员将能够熟练运用Sqoop和Flume工具，实现Hadoop与传统数据库之间以及日志数据的有效管理和传输。
Apache Sqoop is a tool designed to transfer data between Apache Hadoop and RDBMS. Apache Sqoop tool is used to import data from traditional databases such as MySQL, Oracle to Hadoop Distributed File System, and export from Hadoop Distributed file system to RDBMS. This course covers these topics of Apache Sqoop and Flume tool:Overview of Apache HadoopSqoop Import ProcessBasic Sqoop CommandsUsing Different File formats in Import and Export ProcessCompressing Imported DataConcept of Staging TableArchitecture and Features of Sqoop2 ToolFlume ArchitectureFlume EventsInterceptors and Channel SelectorsSink Processors
