|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/transformer-modelle-und-deep-learning/
课程评论：没有评论
课程名称：Transformer模型与深度学习 课程概述：本课程专注于深度学习中的编码器-解码器模型架构，及其在自然语言理解领域的应用。我们将讨论编码器-解码器模型（尤其是像GPT-2和BERT这样的Transformer模型）的构建方式以及模型训练过程中的步骤。预训练模型架构的一个重要应用是迁移学习概念，我们可以利用大型预训练模型，并以相对较小的努力对其进行特定应用场景的训练。课程还将探讨如何通过单次分类将文本分配到特定类别，以及如何将Hugging Face项目中的模型集成到基于fastai库的深度学习项目中。通过Jupyter Notebook，我们将逐步开发应用实例，并分析所实现的AI应用代码。 学习目标： 1. 理解Transformer模型架构的理论基础。 2. 掌握BERT或GPT-2等Transformer模型的功能原理。 3. 学会如何将Transformer模型集成到fastai项目中。 4. 熟悉多种相关库，如Blurr和FastHugs。 5. 利用Hugging Face和fastai框架集成预训练的Transformer模型。 在课程中，我们将展示如何使用Hugging Face模型库中的Transformer（编码器/解码器）模型，通过各种库与fastai框架集成。Transformer模型使得人工智能和深度学习在文本分析和生成领域取得了显著成功，BERT和GPT-2等模型已广为人知。我们将介绍使得共同使用Hugging Face Model Hub和fastai库的不同案例和项目。Transformer模型基本上是多个串联的编码器，嵌入层负责将输入数据转换为向量表示，训练过程中该层的权重会被调整。经过嵌入层转换后的输入数据会生成内部表示，而解码层则将内部表示转换为输出层。通过填充机制，输入序列的不同长度被统一调整。此外，模型中引入了注意力层以提升表现。
Dieser Kurs beschäftigt sich mit dem Thema Encoder-Decoder-Modellarchitekturen im Deep Learning und darauf basierenden Anwendungsfällen im Bereich Natural Language Understanding.Wir besprechen, wie Encoder-Decoder Modelle (insbesondere Transformer Modelle wie GPT2 oder BERT-Architekturen) aufgebaut sind und welche Schritte während des Trainings eines solchen Modells ablaufen.Der große Nutzen dieser vortrainierten Modellarchitekturen besteht in der Anwendung des Transfer-Learning Konzepts. Das bedeutet, wir können uns riesige, vortrainierte Modellarchitekturen zu Nutze machen und mit relativ wenig Aufwand für unseren konkreten Anwendungsfall trainieren.Wie können wir mittel one-shot-classification Texte einer bestimmten Kategorie zuordnen? Wie integrieren wir Modelle aus dem Hugging Face Projekt in unsere eigenen Deep Learning Projekt auf Basis der fastai Bibliothek?Neben dem theoretischen Input entwickeln wir anhand von Jupyther Notebooks Anwendungsbeispiele und gehen den implementierten Code unserer KI-Anwendungen Schritt für Schritt gemeinsam durch.Lernziele Transformer Modelle, Deep Learning und fastaiFolgende Lernziele verfolgen wir mit dem Kurs Transformer Modelle (Encoder/Decoder Architekturen) und Deep Learning:- Du lernst das erforderliche theoretische Basiswissen, um Transformer Modellarchitekturen im Deep Learning zu verstehen.- Du kannst das Funktionsprinzip von Transformer Modellen wie BERT oder GPT2 verstehen.- Du lernst, wie du Transformer Modelle in fastai Projekt integrieren kannst- Du lernst verschiedene Bibliotheken wie `Blurr` oder `FastHugs` kennen.- Mithilfe von Bibliotheken integrieren wir vortrainierte Transformermodelle mittels Hugging-Face und fastai Framework."Transformers (früher bekannt als pytorch-transformers und pytorch-pretrained-bert) bietet Allzweckarchitekturen (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet…) für Natural Language Understanding (NLU) und Natural Language Generation (NLG) mit über 32+ vortrainierten Modellen in über 100 Sprachen und umfassender Interoperabilität zwischen Jax, PyTorch und TensorFlow." (Quelle: huggingface)Wir zeigen in diesem Kurs, wie wir Transformer (Encoder / Decoder) Modelle aus dem Hugging Face Model Zoo mithilfe von verschiedenen Bibliotheken in das fastai Framework integrieren können.Insbesondere die Erfolge von künstlicher Intelligenz und Deep Learning im Bereich der Textanalyse und Textgenerierung ist den Transformer Modellarchitekturen zu verdanken. Modellnamen wie BERT oder GPT2 sind wohl allen ein Begriff.In diesem Kurs präsentieren wir verschiedene Bibliotheken und Projekte, die es uns ermöglichen, vortrainierte Modelle via Hugging Face Model Hub gemeinsam mit der fastai Bibliothek einsetzen können.Das Transformer Modell stellt im Wesentlichen eine Serie von hintereinander verknüpften Encodern dar. Ein Embedding Layer ist für die Tranformation der Eingabedaten in eine Vektorrepräsentation verantwortlich. Die Weights dieser Schicht werden während des Trainings angepasst. Nachdem die Eingabedaten durch den Embedding Layer in eine Vektorrepräsentation übergeführt worden sind, erstellt das Modell eine interne Repräsentation. Der Decoding Layer ist dann wiederum für die Überführung der internen Repräsentation im Modell in die Ergebnisschicht verantwortlich.Unterschiedliche Längen der Eingabesequenzen werden durch Padding-Mechanismen angepasst.Zusätzlich wurden in den Encoder / Decoder Modellen Attention Layer eingeführt.
