|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/cca159-become-cloudera-certified-big-data-analyst/
课程评论：没有评论
**课程名称：** Big Data Analyst - 使用 Sqoop and Advance Hive (CCA159) **课程概述：** 本课程旨在培养大数据分析师，重点教授如何使用 Sqoop 和高级 Hive 功能进行数据迁移和分析。 **学习内容：** * **Hadoop 基础：** 学习 Hadoop 及其分布式文件系统 (HDFS) 的基本概念，以及常用的 HDFS 命令。 * **Sqoop 导入：** * 理解 Sqoop 命令的生命周期。 * 掌握使用 Sqoop 将数据从 MySQL 导入 HDFS。 * 学习将 MySQL 数据导入 Hive，包括使用各种文件格式、压缩、分隔符、`WHERE` 子句和查询。 * 了解 `split-by` 和 `boundary queries` 参数。 * 学习使用增量模式将数据从 MySQL 导入 HDFS。 * **Sqoop 导出：** * 理解 Sqoop 导出功能。 * 掌握使用 Sqoop 将数据从 HDFS 导出到 MySQL。 * 掌握使用 Sqoop 将数据从 Hive 导出到 MySQL。 * **高级 Hive：** * Hive 简介、外部表与托管表、`INSERT` 和 `MULTI INSERT` 语句。 * 了解数据类型和复杂数据类型、集合函数、条件函数。 * 学习 Hive 字符串函数、日期函数和数学函数。 * 掌握 Hive 数据分析、`ALTER TABLE` 命令。 * 学习各种 Join（包括 Multi Join 和 Map Join）。 * 学习处理不同的文件格式，如 Parquet 和 Avro。 * 理解压缩、分区 (`Partitioning`) 和分桶 (`Bucketing`)。 * 学习如何创建和使用视图 (`Views`) 和 `Lateral Views/Explode`。 * 掌握窗口函数 (`Windowing Functions`)，如 `Rank/Dense Rank/lead/lag/min/max`，以及窗口规范 (`Window Specification`)。
You will start by learning what is Hadoop & Hadoop distributed file system and most common hadoop commands required to work with Hadoop File systemThen you will be introduced to Sqoop Import Understand lifecycle of sqoop command.Use sqoop import command to migrate data from Mysql to HDFS.Use sqoop import command to migrate data from Mysql to Hive.Use various file formats, compressions, file delimeter,where clause and queries while importing the data.Understand split-by and boundary queries.Use incremental mode to migrate the data from Mysql to HDFS.Further, you will learn Sqoop Export to migrate data.What is sqoop exportUsing sqoop export, migrate data from HDFS to Mysql.Using sqoop export, migrate data from Hive to Mysql.Finally, we will start with Apache Hive [Advance]Hive IntroExternal & Managed TablesInsert & Multi InsertData Types & Complex Data TypesCollection FunctionConditional FunctionHive String FunctionsHive Date FunctionsMathematical FunctionHive AnalysisAlter CommandJoins, Multi Joins & Map JoinsWorking with Different Files - Parquet,AvroCompressionsPartitioningBucketingViewsLateral Views/ExplodeWindowing Functions - Rank/Dense Rank/lead/lag/min/maxWindow Specification
