|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/ai-ai-testing/
课程评论：没有评论
本课程是ISTQB（国际软件测试资格认证委员会）Foundation Level AI Testing (CT-AI) 培训课程，由Stuart Reid博士讲解，并提供了日语本地化支持。 **课程概述：** 随着AI技术的飞速发展，AI系统已渗透到我们生活的方方面面。与传统系统测试不同，AI系统因其深度学习、不可预测性等特点，带来了新的测试挑战。本课程将深入探讨AI系统的核心理论、标准及测试方法，介绍AI系统的不同类型，重点讲解机器学习(ML)在其中的关键作用。我们将学习如何构建ML系统、AI系统的基准设定、以及伦理考量的重要性，并对比AI系统与传统系统在测试上的差异。 **ISTQB AI测试课程内容：** 课程将从三个主要维度确保AI系统的质量： 1. **数据质量保障：** 强调机器学习模型的准确性依赖于无偏见、准确标注的数据。课程将探讨数据选择和验证方法，以确保ML系统构建的数据质量。 2. **有效的测试方法：** 针对AI系统的“黑盒”特性，课程将介绍诸如Back-to-Back测试、A/B测试以及Metamorphic测试等有效技术。 3. **深入的分析实操：** 通过白盒测试，课程将展示如何衡量神经网络的测试覆盖率。此外，还将以自动驾驶汽车为例，阐述虚拟测试环境的必要性。最后，课程将介绍AI测试工具和AI驱动的通用测试问题成功案例。 本课程包含大量练习，无需编程经验，旨在帮助学员积累不同机器学习系统测试的实战经验。 **各章节详细介绍：** 1. **AI导论：** 介绍AI技术、AIaaS、开发框架、神经网络、深度学习、以及GDPR等法规、特化AI与非AI系统的区别。 2. **AI系统的质量特性：** 探讨AI系统的适应性、自主性、可解释性等特质，以及偏见、副作用、奖励黑客和伦理问题。 3. **机器学习(ML)：** 介绍ML基本概念、学习与预测技术（关联分析、分类、聚类），以及模型评估与调优。 4. **ML数据：** 关注ML工作流程中的数据准备、数据质量、标注、标签化，以及训练和部署。 5. **ML功能性能指标：** 讲解混淆矩阵、准确率、精确率、召回率、F1分数等指标，并介绍回归和聚类等ML适用指标。 6. **ML - 神经网络与测试：** 聚焦ML和神经网络的测试，涵盖激活值、DNN、多层感知机、神经元覆盖率等技术。 7. **AI系统的测试概述：** 讨论AI系统测试面临的独特挑战，如组件、自动化偏见、大数据处理、概念漂移、数据管道、测试预言机问题、验收标准文档化等。 8. **AI特定质量特性的测试：** 探索AI质量评估的测试技术，如算法偏见检测、自主系统行为、可解释性和透明度评估。 9. **AI系统的测试方法与技术：** 介绍ML系统测试方法的选择、传统测试技术，以及AI系统特有的A/B测试、对抗性测试和Metamorphic测试。 10. **AI系统的测试环境：** 讨论不同AI系统类型的专业测试环境，以自动驾驶汽车为例，分析虚拟测试环境的优劣。 11. **测试中的AI应用：** 探讨AI在测试活动中的应用，包括缺陷分析、测试用例生成自动化、用户界面测试和缺陷预测。 **重要提示：** * Udemy视频中的语音和幻灯片为英语，建议配合提供的日语翻译讲义（包括字幕、讲义幻灯片和练习指南）一同学习。 * 提供的参考资料包括ISTQB官方模拟试题和相关论文集。
「はじめに」・この講座はISTQB(テスト技術者資格制度) Foundation Level シラバス-AI テスティング (CT-AI)のトレーニングコースです・スチュアート・リード博士による解説を日本語にローカライズしてお届けしています「コースの概要」AI技術が進化し、私たちの日常生活に不可欠なものとなっています。従来のシステムのテストは広く理解されていますが、AIベースのシステムの普及に伴い新たな課題が生じています。このコースは、AIの核心となる理論や基準、そしてテストアプローチに焦点を当てています。AIベースのシステムは、ディープニューラルネットワークのような高度な構成要素や、大規模データを基にした学習能力、予測不可能な行動など、独特な特徴を持っています。そのため新たな課題とテスト機会が多く生じています。このコースでは、現在使用されているAIベースのシステムの様々なタイプを紹介し、機械学習（ML）がこれらのシステムにおいて重要な要素であることを説明します。さらに、MLシステムの構築が比較的容易である方法を示し、AIベースのシステムにおいて基準の設定がどのように変化するか、なぜ倫理的な観点が重要かを考察し、AIベースシステムの特性によって従来のシステムと比較してテストがより難しくなる点を示します。「ISTQB AIテスティングコースの紹介」AIベースのシステムにおいて品質を確保するために3つの観点を用います。1.データ品質の確保：機械学習の精度は、バイアスのない、正確にラベル付けされたデータに依存します。まず機械学習システムを構築する際にデータの品質を確保するための選定と検証について考察します。2.効果的なテスト手法：AIシステムは不透明な部分が多いため、バックツーバックテストやA/Bテストなどのブラックボックステストが有効です。またメタモルフィックテストの応用も解説します。3.詳細な分析の実施:：ホワイトボックステストを通じて、ニューラルネットワークのテストカバレッジを測定する方法を示します。加えて、仮想テスト環境の必要性については、自動運転車のケースを例にして説明します。最後に、AIのテスト支援ツールの使用例と、AIを活用した一般的なテスト問題の成功例を見ていきます。この実践的なコースには、多数の演習が含まれますがプログラミング経験は不要です。参加者は、様々な機械学習システムのテスト経験を積むことができます。ーーーーーーーーーーーーーーーーーーーーーーーーーーー「コースの各セッション紹介」1. AI への導入 AI、特に人工知能は、技術としての進化を遂げ、ビジネスや日常生活に取り入れられています。AIaaSではクラウドを介してAI機能を提供し、多くの開発フレームワークがAIアプリケーションの構築をサポートしています。このセッションではニューラルネットワークやディープラーニングといったAIの中核技術をお伝えします。そのほか、GDPRのような法規制や特化型AI、従来の非AIシステムとの違いなどを紹介していきます。2 AI ベースのシステムの品質特性AIシステムの品質は、適応性、自律性、説明可能性などの要因によって評価されます。このセッションでは、柔軟性、適応性、自律性、進化など、AIベースのシステムにとって特に重要な品質特性について説明します。さらに、バイアス、副作用、報酬のハッキング、倫理など、AIベースのシステムに特に重要な品質特性について学びユーザーがAIシステムをどのように信頼するかを考察します。3. 機械学習（ML）機械学習はデータを利用して学習・予測する技術で、アソシエーション分析、分類、クラスタリングなどの手法が存在します。モデルの評価やチューニングは、MLモデルの精度を高めるために不可欠です。このセッションでは、機械学習の基本的な概念を紹介し、シンプルな機械学習モデルを構築するための実践を通じて理解を深めていきます。4. ML - データ機械学習の精度は、使用するデータの質に大きく依存します。データのアノテーション、ラベリング、準備は、モデルのトレーニングにおいて中心的な役割を果たします。このセッションでは、MLワークフローのデータ準備における課題、データ品質と、MLワークフローの一部として使用されるさまざまなデータセットについて検討します。さらに、MLワークフローの訓練とデプロイメントの部分を詳しく見ていきます。5. ML 機能パフォーマンスメトリクスMLモデルの性能は、正解率やAUC、混同行列などのメトリクスによって評価されます。このセッションでは、混同行列による機能パフォーマンスメトリクスの計算の説明や正解率、適合率、再現率F1スコアの算出方法を説明します。さらに、回帰やクラスタリングなどの機械学習に適したメトリクスも紹介していきます。6. ML～ニューラルネットワークとテストこの章では、MLとニューラルネットワークのテストに焦点を当てています。活性値やディープニューラルネットワーク（DNN）などの基本的なキーワードを取り上げ、多層パーセプトロンやニューロンカバレッジのような高度なテクニックも紹介。ニューラルネットワークと関連するテストカバレッジレベルについても取り扱います。7. AIベースのシステムのテスト概要AIベースのシステムのテストは、コンポーネント、自動化バイアス、そしてビッグデータの扱いなど、多くの固有の課題を持っています。このセッションでは、これらの課題にどのように対処するか、またコンセプトドリフトやデータパイプラインといったテストの際に考慮すべき事項について触れています。また、AIベースのシステムに関するテストオラクルの問題、受け入れ基準のさまざまな例とドキュメント化についての課題などを考えていきます。8. AIに特化した品質特性のテストAIの品質を評価するための特定のテスト技術と考え方をこのセッションで探求します。アルゴリズムのバイアスの検出、自律的なシステムの挙動、さらには解釈可能性や透明性を評価する方法など、AIの品質を確保するための多岐にわたるトピックが網羅されています。9. AIベースのシステムのテストのための方法と技法このセッションでは、MLシステムに対するテスト手法の選択やテスト技法について見ていきます。従来のシステムテストの技法やAIシステム特有の技法について紹介します。AIシステムのテストには、A/Bテストや敵対的テストなどの特定の技法が利用されるケースが多くあり特にメタモルフィックテストは、AIの動作を確認するための新しい手法として注目されています。10. AI ベースのシステムのテスト環境AIのテスト環境はシステムの性能を評価するためのものです。このセッションでは、AAIベースシステムタイプごとの専門的なテスト環境について見ていきます。ここでは自動運転車を例に取り上げ、仮想テスト環境のメリットやデメリットについても考察していきます。11. テストにおける AI の使用AIを使用したテスト手法も増えています。AIの多くは確率的手法に基づいており、これらの手法はシステムの問題を扱うのに適しています。このセッションでは、AIを使用してさまざまなテスト活動をサポートする方法について説明します。具体的には、AIを用いた欠陥分析やテストケース生成の自動化をサポートする方法。さらに、ユーザーインターフェースのテストと欠陥予測をサポートするためのAIの使用を見て理解を深めていきます。ーーーーーーーーーーーーーーーーーーーーーーーーーーー(注意事項)・Udemyの動画はスチュアート リード博士が直接講義をしており、動画内の音声や表示されているスライド資料は全て英語となります・コースの動画内容は字幕以外は英語となりますので、日本語に翻訳された講義スライドと併せてご覧頂くことを推奨しております【日本語への翻訳内容について以下となります】◇動画内の字幕全般(日本語対応)◇添付資料1.「AIテスティング(CT-AI)コース_講義スライド_V3.01.pdf」◇添付資料2.「AIテスティング(CT-AI)コース_演習ガイド_V2.0.pdf」【日本語への翻訳対象外について以下となります]参考資料として用意しているファイルです。◇添付資料3.「参考資料1_ISTQB CT-AI_シラバスと模擬試験 」 ・こちらはISTQB公式の模擬試験になります。 ・参考用として資料を添付していますが詳細はISTQB公式サイトなどを参照してください。◇添付資料4.「参考資料2_論文集(Papers) 」 ・AIの進化、ロボット技術、ニューロモーフィック・コンピューティング、自動運転、デジタル経済、テスト技術、ソフトウェア欠陥予測など、多岐にわたるテーマを包括する論文集です。・本コースとは直接関係ありませんが関連資料として参考用に添付しております。
