|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/hadoop-to-gcp-migration/
课程评论：没有评论
**课程名称：Hadoop 到 GCP 迁移** **课程概述：** 本课程旨在教授如何将数据从本地 Hadoop 环境（包括安装在 Windows 上的 Hadoop）迁移至 Google Cloud Platform (GCP)。具体而言，课程内容涵盖了将数据从本地 Hadoop 迁移到 Google Cloud Storage (GCS)，以及从 GCS 迁移到 BigQuery。 **前提知识：** * 掌握 Hadoop 命令的基本知识是学习本课程的必要条件。 **课程学习内容：** 1. **Hadoop 在 Windows 11 上的安装：** 学习如何在 Windows 11 操作系统上成功安装和配置 Hadoop 环境。 2. **本地文件系统数据加载至 Hadoop：** 掌握将数据从本地文件系统导入到 Hadoop 集群的方法。 3. **HDFS 数据迁移至 GCS：** 通过安装 GCS 连接器，实现将数据从 HDFS 迁移到 GCS。 4. **利用 Cloud Function Gen2 自动化元数据捕获：** 当数据成功加载到 GCS 存储桶后，利用 Cloud Function Gen2 创建触发器，自动捕获存储桶名称和文件名，并将其存储到 BigQuery 表中。 5. **Apache Beam 进行数据迁移至 BigQuery：** * 使用 BigQuery 表中的最新文件名作为 Apache Beam 的输入。 * 加载 GCS 存储桶中的文件内容到实际的 BigQuery 表中。 * **尝试使用 Dataflow Runner 运行 Apache Beam 作业时遇到了一些错误。** * **本次迁移过程中，数据类型转换未被处理，所有列均被视为字符串类型。** 6. **Hive 外部表指向 GCS 存储桶（尝试）：** * 尝试创建指向 GCS 存储桶和文件的 Hive 外部表。 * **由于存在错误，未能成功演示该方法。** * （如果成功）该方法通过间接方式将数据加载到 GCS。 **重要说明：** * 课程在尝试使用 Dataflow Runner 运行 Apache Beam 作业时遇到了挑战。 * 数据类型转换在本次迁移中未被执行，所有数据被统一处理为字符串。
Objective of the course , is to migrate data from On-prem Hadoop(Consider hadoop installed in Windows is considered as on-prem) to GCS(Google Cloud storage) and Google cloud storage to BigQuery. To learn about this course , basic knowledge in Hadoop commands is mandatory. Things you will learn from this course - Hadoop installation in Windows 11 - Load data from local file system to Hadoop - Load file from hdfs to gcs by installing gcs connector - Once data is loaded in bucket, the bucket name and file name is captured in bigquery table by creating a trigger using cloud function gen2. The input to apache beam is from latest file name bigquery table and load the contents of the file from the bucket to the actual bigquery table. We also tried to create hive external table, which is pointing out GCS bucket and file. Due to errors , we can't able to demo the approach. By creating that , the hive external table is loaded which indirectly loads data in GCS. The apache beam code which loads data from gcs to bigquery will run by direct runner , we faced some errors while running through dataflow runner. The datatype conversion is not handled in migration , considering all the columns as string.
