Vertex AI モデル評価: Pointwise Evaluation 実践ガイド
Vertex AI におけるモデル評価シリーズへようこそ。 これまでの記事では、モデル評価の基礎や、評価に必要なデータセット・メトリクス・各種設定の準備方法について学んできました。 今回は、実際に Pointwise Evaluation を使ったエンドツーエンドの評価を体験していきます。 評価環境のセットアップから…
Vertex AI におけるモデル評価シリーズへようこそ。 これまでの記事では、モデル評価の基礎や、評価に必要なデータセット・メトリクス・各種設定の準備方法について学んできました。 今回は、実際に Pointwise Evaluation を使ったエンドツーエンドの評価を体験していきます。 評価環境のセットアップから…
Vertex AI のモデル評価シリーズへようこそ。 Part 1 では評価の基礎を整理しました。Part 2 では、実践に入る前の「準備」を固めていきます。 今回は、評価を成功させるための 3 つの柱を扱います。 1. 評価データセットの構造化 3. メトリクス(評価指標)の選定 5. 詳細設定(Advanced…
Vertex AIでのモデル評価をマスターするためのシリーズへようこそ!ジェネレーティブAIを構築している方なら、モデルの作成が戦いの半分に過ぎないことをご存知でしょう。真に高品質なエクスペリエンスを提供するためには、そのパフォーマンスを測定できなければなりません。 このガイドでは、Vertex AI Python…
はじめまして!エンジニアのUemaです。 今回は、AIパイプラインをシンプルに書けるように設計された、Google DeepMind の新しいオープンソース Python ライブラリである「GenAI Processors」をGet Startedやexampleを参考にしながら触ってみたいと思います。 シンプルに書…
はじめまして!エンジニアのUemaです。 今回は、AIパイプラインをシンプルに書けるように設計された、Google DeepMind の新しいオープンソース Python ライブラリである「GenAI Processors」をGet Startedやexampleを参考にしながら触ってみたいと思います。 シンプルに書…
はじめまして!エンジニアのUemaです。 今回は、AIパイプラインをシンプルに書けるように設計された、Google DeepMind の新しいオープンソース Python ライブラリである「GenAI Processors」をGet Startedやexampleを参考にしながら触ってみたいと思います。 シンプルに書…
はじめまして!エンジニアのUemaです。 今回は、AIパイプラインをシンプルに書けるように設計された、Google DeepMind の新しいオープンソース Python ライブラリである「GenAI Processors」をGet Startedやexampleを参考にしながら触ってみたいと思います。 シンプルに書…
こんにちは、Yama です。 ChatGPT の登場から AI が民衆化して、業務の中でも広く使われるようになってきました。 AI サービスも日々進化し、ますますその性能は高くなっていますね。 本日は、文書検索の精度をさらに高める Google Cloud が提供する AI ソリューション「Vertex AI Sea…
2024年9月17日(火)、書籍『図解即戦力 Google Cloud のしくみと技術がこれ1冊でしっかりわかる教科書[改訂2版]』を株式会社技術評論社より出版しました。本書は、紙の書籍と電子書籍を合算して売上一万部突破した書籍の改訂版で、新たに AIサービスの章が追加されています。grasys の現役エンジニアが…
こんにちは、エンジニアの nishino です。 前回は Vertex AI を使うと MLOps の設計が簡単になる、というお話をさせていただきました。 今回は、前回の続きで Vertex AI が出した評価結果の読み解き方、解釈の仕方についてお伝えします。モデルをトレーニングするときに考えること、どう解釈して次に…
こんにちは、エンジニアの nishino です。 本日は、Vertex AI を使うと MLOps の設計が簡単になる、というお話をさせていただこうと思います。 MLOps とは MLOps は ML プロジェクト(機械学習プロジェクト)の開発から運用の流れを可視化した一連の全体像です。プロジェクト推進のために ML…
MLOpsとは 「MLOps」とは、 機械学習(ML) と、 運用(Operations) を組み合わせた造語で、優れた機械学習システムを実現するために、それぞれのチームが協調し合う管理体制( 機械学習基盤 )を築くこと。またはその概念全体を指します MLOpsの元になったのは、ソフトウェア開発において 開発(Dev…