|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/pyspark-desde-cero-orientado-a-machine-learning/
课程评论：没有评论
**课程名称：PySpark 从零开始，面向机器学习** **课程概述：** 本课程专为希望在Linux-Ubuntu虚拟机环境中掌握PySpark基础知识的学习者设计。课程将指导您完成PySpark工作环境的安装，并创建一个Jupyter Notebook文件，演示典型的数据处理流程：从CSV文件加载数据、数据清洗、创建子DataFrame，以及运行多种机器学习算法。 **核心内容：** * **环境搭建：** 在Ubuntu虚拟机中安装和配置PySpark。 * **数据处理：** * 使用Jupyter Notebook进行数据加载、清洗和子DataFrame的创建。 * 对比Pandas DataFrame和PySpark DataFrame的差异。 * 理解RDD（弹性分布式数据集）的强大之处，及其在分布式大数据处理中的作用。 * **机器学习算法：** * 线性回归 (Linear Regression) * 决策树回归 (Decision Tree Regression) * 梯度提升回归 (Gradient Boosting Regression) * 神经网络 (Neural Network) - 使用Keras库 * **梯度下降 (Gradient Descent)：** 重点讲解梯度下降算法的重要性，因为它被广泛应用于优化上述大部分算法中的损失函数。 **学习产出：** 学员无论是否完成自行安装，都将能够下载预先配置好的虚拟机和包含已完成任务的Jupyter Notebook文件。然而，强烈鼓励学员按照课程指南自行安装虚拟机，课程提供者将协助解决虚拟机创建过程中的问题。
Este es un curso que esta diseñado para personas que deseen adquirir el conocimiento básico para trabajar con Pyspark en un entorno de maquina virtual usando el sistema operativo Linux-Ubuntu. Aprenderemos a instalar el ambiente de trabajo para Pyspark usando una maquina virtual con Ubuntu y crearemos un archivo de trabajo para jupyter notebook con una secuencia clásica de carga de datos desde un archivo csv, limpieza, creacion sub dataframes y corrida de algoritmos de ML. Trabajaremos con los algoritmos de Regresión lineal, Decision tree regression, Gradient Boosting regresión y neural network usando la librería de Keras. Solamente explicaremos el algoritmo de Gradiente descendiente por su importancia ya que la mayoría de estos algoritmos usan el Gradiente descendiente para obtener el menor loss function. Tambien trabajaremos con los dataFrames de Pandas y de Pyspark para entender sus diferencias. Asimismo, sera importante entender lo poderoso de los RDD que son los que permiten el procesado distribuido para el ambiente de Big Data. El estudiante podrá descargar la maquina virtual y el archivo para jupyter notebook con las tareas ya trabajadas allí, pero esperamos que cada estudiante pueda instalar su propia maquina virtual usando la guía ofrecida con este curso. Yo estaré a su disposición para ayudarles en la creación de la MV.
