|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/generative_ai_23/
课程评论：没有评论
这是一个由Ken Cen出品的关于生成式AI的课程，重点讲解了在训练大型语言模型（LLM）时至关重要的两个技术：LoRA (Low-Rank Adaptation) 和量化（Quantization）。 **LoRA部分** * **核心原理:** LoRA通过一种参数高效的方法来微调大型模型。它冻结原始模型的大部分权重，仅通过引入两个低秩矩阵（A和B）来更新模型。这种方法的显著优势在于，微调所需的参数量相比传统全量微调大大减少，从而节省了时间和计算资源。 * **PyTorch实战:** 课程将深入PyTorch，从`torch.nn.utils.parametrize`开始，手把手教你如何将LoRA的参数化逻辑集成到线性层中。通过MNIST分类任务的演示，帮助学习者快速掌握LoRA的微调流程。 * **细节与验证:** 课程不仅会讲解如何冻结原始权重、进行训练和测试，还会重点关注如何对比LoRA启用和禁用时的性能差异，并验证原始权重是否得到了有效保持。 * **参数效率分析:** 通过计算与对比原始模型和LoRA模型之间的参数量，用数据说话，清晰地展示LoRA在参数效率上的优势。 * **数学推导与实现:** 深入讲解LoRA背后的数学原理，从奇异值分解（SVD）的基础概念，到低秩近似矩阵的生成，再到`W+BA*scale`这一数学逻辑的推导，实现理论与实践的完美结合。 **量化（Quantization）部分** * **对称 vs. 非对称量化:** 深入对比两种主要的量化策略（对称和非对称），重点讲解Scale (S) 和 Zero-Point (Z) 的配置技巧，以实现更低的量化误差。 * **PTQ (Post-Training Quantization) 实战:** 手把手演示训练后量化（PTQ）的完整流程，包括插入观察器、数据校准、S/Z计算，最终目标是能够生成INT8模型，便于部署。 * **QAT (Quantization-Aware Training) 精髓:** 揭示量化感知训练（QAT）的原理，讲解如何在训练过程中插入“假量化”模块，使得模型在训练时就能够适应量化带来的误差，从而显著减少量化后的精度损失。 总而言之，本课程旨在帮助学员掌握这两个关键技术，以实现AI模型在边缘设备上的高效运行，使其更快速、更小、更智能。
想讓您的 AI 模型在邊緣設備上跑得更快、更小、更智能？加入我們的課程，帶您從原理到實操，徹底掌握：參數高效、成本低LoRA 僅透過低秩矩陣 AAA 和 BBB 的更新，凍結原始權重，使得微調參數量相比傳統方法大幅縮減，無需重訓整個模型，省時、省算力、省錢。PyTorch 直擊實戰從 torch.nn.utils.parametrize 開始，手把手教你如何在線性層中注入 LoRA 參數化邏輯；以 MNIST 分類示範，讓你快速上手微調流程。細節解密、數據驗證不僅帶你凍結原始權重、訓練與測試，還深入探討如何對比 LoRA 啟用／禁用時的性能差異，並驗證原始權重是否真正保持不變。參數效率深度分析計算並對比原始模型參數量與 LoRA 額外引入的參數量，用數據說話，讓你更加清晰地掌握技術優勢與取捨。完整數學推導與程式實現從 SVD（奇異值分解）基礎概念，到低秩近似矩陣生成，再到 W+BA⋅scaleW + B A/cdot/text{scale}W+BA⋅scale 的數學邏輯，理論與實作一氣呵成。對稱 vs. 非對稱：深度對比兩大量化策略，掌握 S（Scale）與 Z（Zero‐Point）的配置技巧，讓零點映射更"零失真"；PTQ 實戰：手把手演示「訓練後量化」流程：插入觀察器、校準統計、S/Z 計算，一鍵生成 INT8 模型，輕鬆部署；QAT 精髓：揭開「量化感知訓練」原理，在訓練圖中插入"假量化"模塊，讓模型在訓練時就學會"自我修正"，大幅減少量化誤差；
