Agent Platform モデル評価：Pairwise Evaluation 実践ガイド

Agent Platform モデル評価シリーズへようこそ。

前回の記事では、個々の回答の品質を評価するために、Pointwise Evaluation を実施しました。

しかし、同じプロンプトに対して2つの回答がある場合、次のような疑問が生じます。

どちらの回答がより優れているのか？

このような場合に役立つのが、Pairwise Evaluation です。

Pairwise Evaluation とは？

Pairwise Evaluation は、同じプロンプトに対して生成された2つの回答を、指定した評価基準に基づいて比較する評価方法です。一方を候補回答（candidate response）、もう一方をベースライン回答（baseline response）として比較します。

Pairwise Evaluation は、次のような比較に役立ちます。

1. 2つの異なるモデル
2. 既存モデルと新しいモデルバージョン
3. チューニング済みモデルとベースラインモデル
4. 同じ入力に対する異なるプロンプト設計やモデル設定

Pairwise Evaluation を実践する

それでは、Bring-Your-Own-Response のアプローチを使用して、Pairwise Evaluation を一通り実施してみましょう。このアプローチでは、候補回答とベースライン回答をあらかじめ用意し、評価用データセットに含めます。

実践例：Bring-Your-Own-Response を使用した Pairwise Evaluation

この例では、あらかじめ用意した候補回答とベースライン回答を比較します。どちらの回答がより優れているかを判断するために、pairwise_question_answering_quality メトリクスを使用します。

データセットには、次の3つの列が含まれています。

• prompt
• candidate_model_outputs
• baseline_model_outputs

ただし、Pairwise メトリクスは、候補回答とベースライン回答をそれぞれ response と baseline_model_response というフィールド名で参照します。そのため、metric_column_mapping を使用して、メトリクスが期待するフィールド名を、データセット内の対応する列にマッピングします。

両方の回答がすでにデータセットに含まれているため、evaluate() の実行時にモデルを指定する必要はありません。評価サービスは、各プロンプトについて候補回答とベースライン回答を比較し、評価結果を返します。

Agent Platform Experiments で評価結果を追跡する

評価結果を Agent Platform Experiments で追跡するには、experiment と experiment_run_name を指定します。
この例では、コメントアウトされている該当行を有効にし、Experiment 名として pairwise-byor、実行名として test-pairwise-byor を指定しています。Google Cloud コンソールでは、Agent Platform → Experiments から結果を確認できます。

これにより、複数の評価実行を簡単に管理・比較できます。評価が完了すると、Notebook 上に実行ステータスと、関連する Experiment および評価結果へのリンクが表示されます。

実行時に表示されるメッセージは、この評価が Bring-Your-Own-Response モードで実行されていることを示しています。候補回答とベースライン回答の両方がデータセットに含まれているため、この動作は想定どおりです。

出力結果の見方

Pairwise Evaluation の結果から、候補回答とベースライン回答のどちらがより高く評価されたかを確認できます。

主に、次の2つの出力を確認します。

1. result.summary_metrics – 候補回答とベースライン回答の勝率など、評価結果の集計値を確認できます。
2. result.metrics_table – 各プロンプトに対する評価結果と、その判定理由を行単位で確認できます。

この例では、3件中2件で候補回答が選ばれ、候補回答の勝率は約66.7%、ベースライン回答の勝率は約33.3%となっています。

まとめ

本記事では、Bring-Your-Own-Response アプローチを使用して、候補回答とベースライン回答の比較から評価結果の確認までを実施しました。

Pairwise Evaluation は、2つのモデル、プロンプト、または設定から生成された回答を直接比較し、どちらの回答がより高く評価されるかを確認する場合に特に役立ちます。

Vertex AI のモデル評価について他の記事も書いているので、よろしければこちらもご覧ください！
> 『Vertex AI モデル評価』シリーズ一覧