目次
Vertex AIでのモデル評価をマスターするためのシリーズへようこそ！ジェネレーティブAIを構築している方なら、モデルの作成が戦いの半分に過ぎないことをご存知でしょう。真に高品質なエクスペリエンスを提供するためには、そのパフォーマンスを測定できなければなりません。
このガイドでは、Vertex AI Python SDKを使用したジェネレーティブAIモデルの評価に関する実践的な入門書を提供します。品質と安全性のメトリクスに対してモデルの応答をスコアリングするための主要なツールであるEvalTaskクラスに焦点を当てます。
はじめに：リージョン別の提供状況
作業を始める前に、Vertex AI評価サービスがすべてのGoogle Cloudリージョンで利用可能というわけではないことを知っておくことが重要です。サポートされていないリージョンで評価を実行しようとすると、エラー（多くの場合、400 Bad Request）が発生します。
最新のリストについては、必ず公式のVertex AI の生成 AI でサポートされているリージョンに関するドキュメントをご確認ください。
「方法」を理解する：評価の種類
Generative AI評価サービスは、モデルをスコアリングするために、主に2つのアプローチを提供します。
1. 計算ベースの評価
この手法は、モデルの出力を「正解」または参照回答と比較してスコアを計算します。
長所: リアルタイム評価に適した高速性が魅力です。BLEUやROUGEといったメトリクスが一般的な例です。
短所: 大規模言語モデル（LLM）では、単一の「正解」を定義することが非常に困難です。多くの良い答えが存在しうる中で、どのようにして完璧な一つの答えを定義するのでしょうか？このため、計算ベースの手法は、多くのジェネレーティブAIのユースケースにはあまり適していません。
2. モデルベースの評価（審査員としてのLLM）
この現代的なアプローチは、別の強力なLLMを「審査員」として使用し、人間の評価に酷似した評価を提供します。
長所: 正解データを必要としません。「流暢さ」、「創造性」、「安全性」といった、複雑でニュアンスに富んだ基準を評価できます。また、審査員モデルに提供するプロンプトを調整するだけで、柔軟なカスタム評価基準を作成することも可能です。
短所: 計算ベースの手法よりも遅く、コストがかかる可能性があります。
その柔軟性と人間のような評価能力から、このブログシリーズではモデルベースの評価に焦点を当てていきます。
次回予告
基礎を理解したところで、いよいよ最初の評価に取り掛かる準備ができました。パート2では、ポイントワイズ評価について詳しく掘り下げ、単一のモデルの応答をスコアリングし、完全なコード例を順を追って説明します。
お楽しみに！
