---
title: "Agent Platform モデル評価：Pairwise Evaluation 実践ガイド | grasys blog"
url: "https://blog.grasys.io/post/komal-teke/agentplatform-pairwiseevaluation/"
description: "Agent Platform モデル評価シリーズへようこそ。 前回の記事では、個々の回答の品質を評価するために、Pointwise Evaluation を実施しました。 しかし、同じプロンプトに対して2つの回答がある場 […]"
---

# Agent Platform モデル評価：Pairwise Evaluation 実践ガイド

-   ![](/_astro/noicon.CTHOhNiB_1HMs6A.webp)[Komal Teke](/authors/komal-teke/)
-   公開日：2026年7月29日
-   カテゴリー：[Tech](/categories/tech/)
-   タグ：[#agentplatform](/tags/agentplatform/)[#シリーズ: Vertex AI モデル評価](/tags/シリーズ-vertex-ai-モデル評価/)

![Agent Platform モデル評価：Pairwise Evaluation 実践ガイド](/_astro/hero.DrC29fjT_2nYeDh.webp)

Agent Platform モデル評価シリーズへようこそ。

[前回の記事](https://blog.grasys.io/post/komal-teke/vertexai-pointwise-evaluation/)では、個々の回答の品質を評価するために、Pointwise Evaluation を実施しました。

しかし、同じプロンプトに対して2つの回答がある場合、次のような疑問が生じます。

> どちらの回答がより優れているのか？

このような場合に役立つのが、Pairwise Evaluation です。

## Pairwise Evaluation とは？

Pairwise Evaluation は、同じプロンプトに対して生成された2つの回答を、指定した評価基準に基づいて比較する評価方法です。一方を候補回答（candidate response）、もう一方をベースライン回答（baseline response）として比較します。

Pairwise Evaluation は、次のような比較に役立ちます。

1.  2つの異なるモデル
2.  既存モデルと新しいモデルバージョン
3.  チューニング済みモデルとベースラインモデル
4.  同じ入力に対する異なるプロンプト設計やモデル設定

## Pairwise Evaluation を実践する

それでは、Bring-Your-Own-Response のアプローチを使用して、Pairwise Evaluation を一通り実施してみましょう。このアプローチでは、候補回答とベースライン回答をあらかじめ用意し、評価用データセットに含めます。

### 実践例：Bring-Your-Own-Response を使用した Pairwise Evaluation

この例では、あらかじめ用意した候補回答とベースライン回答を比較します。どちらの回答がより優れているかを判断するために、`pairwise_question_answering_quality` メトリクスを使用します。

![実践例：Bring-Your-Own-Response を使用した Pairwise Evaluationの画面（1）](/_astro/01-image-1-1024x697-ef25e69e.DYuWeTqI_ZCxODw.webp)

データセットには、次の3つの列が含まれています。

-   `prompt`
-   `candidate_model_outputs`
-   `baseline_model_outputs`

ただし、Pairwise メトリクスは、候補回答とベースライン回答をそれぞれ `response` と `baseline_model_response` というフィールド名で参照します。そのため、`metric_column_mapping` を使用して、メトリクスが期待するフィールド名を、データセット内の対応する列にマッピングします。

![実践例：Bring-Your-Own-Response を使用した Pairwise Evaluationの画面（2）](/_astro/02-image-2-1024x349-254807db.aYzAKw5g_Ku7ex.webp)

両方の回答がすでにデータセットに含まれているため、`evaluate()` の実行時にモデルを指定する必要はありません。評価サービスは、各プロンプトについて候補回答とベースライン回答を比較し、評価結果を返します。

## Agent Platform Experiments で評価結果を追跡する

評価結果を Agent Platform Experiments で追跡するには、`experiment` と `experiment_run_name` を指定します。  
この例では、コメントアウトされている該当行を有効にし、Experiment 名として `pairwise-byor`、実行名として `test-pairwise-byor` を指定しています。Google Cloud コンソールでは、**Agent Platform → Experiments** から結果を確認できます。

![Agent Platform Experiments で評価結果を追跡する画面（1）](/_astro/03-image-8-1024x514-ab698031.BFlpYdt4_CEIOR.webp)

![Agent Platform Experiments で評価結果を追跡する画面（2）](/_astro/04-image-7-1024x515-6bf6bf20.B_LWMHE1_Z142EEP.webp)

これにより、複数の評価実行を簡単に管理・比較できます。評価が完了すると、Notebook 上に実行ステータスと、関連する Experiment および評価結果へのリンクが表示されます。

実行時に表示されるメッセージは、この評価が Bring-Your-Own-Response モードで実行されていることを示しています。候補回答とベースライン回答の両方がデータセットに含まれているため、この動作は想定どおりです。

![Agent Platform Experiments で評価結果を追跡する画面（3）](/_astro/05-image-5-1024x216-c32fa844.DYRKeWVD_eOCzE.webp)

## 出力結果の見方

Pairwise Evaluation の結果から、候補回答とベースライン回答のどちらがより高く評価されたかを確認できます。

主に、次の2つの出力を確認します。

1.  result.summary\_metrics – 候補回答とベースライン回答の勝率など、評価結果の集計値を確認できます。
2.  result.metrics\_table – 各プロンプトに対する評価結果と、その判定理由を行単位で確認できます。

![出力結果の見方の画面](/_astro/06-image-6-1024x229-b4580fde.BGa3oWK2_2mtPwe.webp)

この例では、3件中2件で候補回答が選ばれ、候補回答の勝率は約66.7%、ベースライン回答の勝率は約33.3%となっています。

## まとめ

本記事では、Bring-Your-Own-Response アプローチを使用して、候補回答とベースライン回答の比較から評価結果の確認までを実施しました。

Pairwise Evaluation は、2つのモデル、プロンプト、または設定から生成された回答を直接比較し、どちらの回答がより高く評価されるかを確認する場合に特に役立ちます。

Vertex AI のモデル評価について他の記事も書いているので、よろしければこちらもご覧ください！  
[\> 『Vertex AI モデル評価』シリーズ一覧](https://blog.grasys.io/tags/%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-vertex-ai-%E3%83%A2%E3%83%87%E3%83%AB%E8%A9%95%E4%BE%A1/)

## この記事を書いた人

[![](/_astro/komal-teke.vvtJae1f_ZxagEz.webp)](/authors/komal-teke/)

### [Komal Teke](/authors/komal-teke/)

Google Cloud、データエンジニアリング、生成AIを中心に、クラウド技術の検証や実装に取り組んでいます。

[プロフィールと記事一覧](/authors/komal-teke/)