這是模型開發領域的最後一堂課,其中說明如何分析 ML 模型效能。您將了解有關模型評估的重要概念
和技巧,包括分類和迴歸問題指標。您還將學習如何辨識收斂問題,並確保實驗的可重複性。最後,您將使用 Amazon SageMaker Clarify 和 Amazon SageMaker Debugger 等 AWS 服務來深入了解機器學習 (ML) 訓練資料和模型問題。
- 課程等級:進階
- 持續時間:1.5 小時
活動
- 線上教材
- 練習
- 知識測驗問題
課程目標
- 決定用於建立效能基準的方法。
- 評估模型效能、訓練時間及成本之間的權衡取捨。
- 決定分類問題評估技巧和指標。
- 決定迴歸問題評估技巧和指標。
- 使用 Amazon SageMaker Training Compiler 和 Amazon SageMaker Automatic Model Tuning (AMT) 識別收斂問題並防止模型收斂問題。
- 確定 SageMaker Clarify 的指標,以深入了解 ML 訓練資料和模型。
- 使用 SageMaker Clarify 解讀模型輸出。
- 說明如何使用 AWS 服務執行可重現的實驗。
- 使用 SageMaker Model Debugger 進行模型收斂除錯。
目標受眾
- 雲端架構人員
- 機器學習工程師
建議技能
- 完成至少 1 年使用 SageMaker 及其他 AWS 服務進行 ML 工程的經驗
- 完成至少 1 年的相關工作經驗,例如:後端軟體開發人員、DevOps 開發人員、資料工程師或資料科學家
- 對 Python 等程式語言有基本的了解
- 完成 AWS ML 工程師助理學習計劃中的前置課程
課程大綱
- 第一節:簡介
- 第 1 課:如何使用本課程
- 第 2 課:課程概覽
- 第 3 課:效能基準
- 第二節:模型評估
- 第 4 課:模型評估技術和指標
- 第 5 課:收斂問題
- 第 6 課:使用 SageMaker Debugger 除錯模型收斂
- 第 7 課:SageMaker Clarify 和指標概觀
- 第 8 課:使用 SageMaker Clarify 解釋模型輸出
- 第 9 課:Amazon SageMaker Experiments
- 第三節:結論
- 第 10 課:課程總結
- 第 11 課:評估
- 第 12 課:聯絡我們