Mastering Model Evaluation in Amazon Bedrock: From Basics to Best Practices (日本語)

このコースは、AWS Technical Field Communities (TFC) のメンバーによって開発されました。TFC は、AWS の技術エキスパートからなるコミュニティです。コースのコンテンツは、AWS の標準トレーニングカリキュラムを補完し、AWS に関する学習体験をさらに充実させることを目的としています。一部のコースにおいてアクセシビリティの問題があることが確認されていますが、対処できるように現在取り組んでいます。特別な配慮が必要な場合は、AWS トレーニングと認定のカスタマーサポートにお問い合わせください。

Foundation モデルは AI アプリケーションに革命をもたらしましたが、それらを効果的に評価することには独特の課題があります。 これらの強力なモデルはさまざまなタスクを処理できますが、結果に一貫性がなかったり、幻覚や毒性などの問題が発生したりする可能性があります。 複数のモデルが同じように動作する場合でも、特定のユースケースに最適な選択肢を決定するには、精度、堅牢性、品質、責任など、複数の側面にわたる体系的な評価が必要です。 このモジュールでは、以下について説明します：

モデル評価の基本とそれが重要な理由。 Amazon Bedrock に組み込まれている評価ツールと機能。 さまざまなシナリオでモデルを評価する際の主な考慮事項体系的なモデル評価のベストプラクティス。

実践的な例と実践的なガイダンスを通じて、Bedrock の評価フレームワークと特定のニーズに適した基盤モデルを活用する方法を学びます。