Supabase Evals公開、AIエージェントのコード品質を自動評価する基盤
Supabaseが2026年7月31日、AIコーディングエージェント向けの評価フレームワーク「Supabase Evals」をオープンソースで公開した。Claude CodeやCodex、OpenCodeといった主要エージェントを使い、実際のSupabaseプロジェクト開発を自動で試行し、その成否を定量的に測る仕組みだ。
このフレームワークは、エージェントがデータベーススキーマの構築やEdge Functionsのデバッグ、RLSポリシーの修正といったタスクをどれだけ正確にこなせるかを評価する。公開されたベンチマーク結果は誰でも閲覧でき、エージェントの得意分野や弱点が数値で把握できる。
なぜSupabaseがこの基盤を作ったのか。AIを使ってSupabase上にアプリを構築する開発者が急増する中、エージェントの「実力」を正確に把握し、改善につなげる必要があった。本記事ではその仕組みと、初期の評価で明らかになったエージェントの弱点、そして今後の展望を解説する。
Supabase Evalsが目指すもの
Supabase Evalsは、AIコーディングエージェントがSupabaseを使った開発タスクを実行する際のパフォーマンスを評価するためのフレームワークだ。ベンチマークテストとリグレッション（回帰）テストの2つのスイートを持ち、エージェントの実力を多角的に測る。
具体的には、エージェントがCLIやMCPサーバー、各種ドキュメントを活用しながらスキーマ設計やEdge Functionsの作成、RLSポリシーの修正などを行う。その結果を「ユーザーが特定のデータにアクセスできるか」「Edge Functionが期待通りのレスポンスを返すか」といった決定論的なチェックと、LLMによる判定（LLM-as-a-judge）でスコア化する。
この基盤は、Supabaseが公開する公式ベンチマークのほか、日次で動作する内部のリグレッションスイートにも利用されている。これにより、新しい機能がエージェントの動作を悪化させていないかを継続的に監視できる。
なぜ今、AIエージェント評価基盤が必要なのか
AIコーディングエージェントを使った開発は日常化しつつある。SupabaseのCLIやMCPサーバー、エージェントスキル、ドキュメントを介してエージェントがプロジェクトを構築するケースが増えてきた。しかし、各エージェントがどこでつまずき、どの機能がうまく使えていないのかを体系的に把握する手段が不足していた。
Supabaseの公式ブログ記事によれば、エージェントが苦手とするパターンを特定し、それを修正した上で再発防止（リグレッション）を確認するサイクルを回すことが目的だ。単一のツールだけではなく、Supabaseが提供するすべてのインターフェースを横断的に評価できる点が特徴である。
従来は開発者自身が手動でコードを書く前提だったため、エージェントに特化したテスト基盤は存在しなかった。Evalsの登場により、AI時代の開発者体験を数値で議論できる土台が整ったと言える。
評価の仕組みとベンチマーク／リグレッションの二層構造
このフレームワークでは、エージェントが実際のSupabase環境で作業するため、机上の空論ではない実用的な評価が可能だ。テスト結果はWebアプリで可視化され、誰でも確認できる。
初期ベンチマークが明らかにしたAIエージェントの弱点
スキル読み込みの効果は想定以上に限定的、ただしドキュメント参照は改善
Supabase Evalsのベンチマーク結果では、エージェントがスキル（エージェント向けの最適化ガイド）を読み込んでいない状態でも、多くのシナリオをクリアできることがわかった。ビルド段階では、Opus 5とKimi K3がスキルなしで100%のスコアを達成している。
スキル読み込みの効果は限定的だが、Sonnet 5は78%から100%へ、GPT-5.6 Solは89%から100%へ、GPT-5.4 miniは78%から89%へと改善した。特に、スキルを有効にするとSupabaseドキュメントの参照頻度が一貫して増え、古い事前学習知識を上書きする必要があるエッジケースで差がついた形だ。
宣言的スキーマを使わず、マイグレーションを手書きする傾向
Supabaseには宣言的スキーマという、データベースの構造を一つのファイルで管理できる仕組みがある。本来は複数のマイグレーションファイルをつなぎ合わせるより効率的だが、エージェントは既に宣言的スキーマが使われているプロジェクトでも、手書きのマイグレーションを作成しようとする傾向があった。
この問題を受け、Supabaseはエージェントスキルの中で「どのワークフローを選ぶべきか」の指針を明確に改訂し、Evalsを使って修正が正しく反映されたことを確認した。
新しいライブラリ「@supabase/server」の発見率が低い
Supabaseは最近、Edge Functionsを安全に書くためのボイラープレートを簡略化する@supabase/serverパッケージをリリースした。しかし、エージェントは依然としてsupabase-jsを使い、手動で認証を検証する方法を選んでしまう。
このためSupabaseは「どのパッケージを選ぶべきか」を解説する専用ガイドを公開し、エージェントの判断材料として提供している。
Postgresベストプラクティススキルの有効化が不安定
Evalsは、エージェントがセッション中にどのスキルを読み込んだかを追跡している。主要な「supabase」スキルはほぼ常に読み込まれるのに対し、Postgresのベストプラクティスを教えるスキルは当初、約1割のシナリオでしか有効化されなかった。
スキルの説明文を具体的なトリガーで書き直した結果、有効化率は60%まで向上したが、それでもOpenAIモデルの方がより安定してスキルを活用する傾向が見られる。
ドキュメント参照の頻度に大きなばらつき
Evalsの実行中、エージェントがSupabaseドキュメントを読む頻度も測定している。CodexベースのエージェントはClaude Codeよりもドキュメントをチェックする傾向があり、最も高性能なOpenAIモデルは毎シナリオ約8ページを読むのに対し、Claude Codeは約2ページにとどまる。
しかもClaude Codeはスキルを読み込んでいても、40%未満のシナリオでしかドキュメントを確認しない。Supabaseはエージェントが必要な情報を確実に見つけられるよう、改善を進めている。
AIエージェント時代のSupabase開発体験を支える展望
Supabase Evalsはまだ出発点に過ぎない。今後はエッジケースのカバレッジを広げ、エージェントやプロダクトの進化に合わせて新しいシナリオを追加していく計画だ。スコアリングの精度と安定性も引き続き強化される。
また、内部のリグレッションシナリオのなかで信頼性が確認されたものは、順次公開ベンチマークへと格上げされる方針である。さらに、エージェントがタスクに失敗した際にフィードバックを提出できるCLIコマンドやMCPツールも開発中で、これにより次の改善優先度をデータドリブンに決定できるようになる見込みだ。
AIコーディングエージェントを本格的にプロダクト開発に組み込むチームにとって、Supabase Evalsは「エージェントが何を得意とし、どこでつまずくのか」を数値で判断する貴重な羅針盤になる。公開されたベンチマークはsupabase.com/evalsで誰でも確認できる。
この記事のポイント
- SupabaseがAIコーディングエージェント向け評価フレームワーク「Supabase Evals」をOSS公開
- 実際のSupabase環境でエージェントを動作させ、ベンチマークとリグレッションの2層でスコア化
- 初期のベンチマークでは、スキル無しでも高スコアの一方、宣言的スキーマの無視や新ライブラリの未発見など弱点が判明
- ドキュメント参照頻度のばらつきやスキル活性化の不安定さも浮き彫りに
- 今後はエッジケースの拡充やエージェントからのフィードバック収集機能の追加を予定
・ 複数業界における17年間のデジタルビジネス開発経験
・ ウェブサイト開発のためのHTML、PHP、CSS、JavaScript等の実用的知識
・ 15ヶ国語対応の多言語SaaSの開発経験
・ 17年間にも及ぶ、Eコマース長期運営経験
・ 幅広い業界でのSEO最適化の豊富な経験
OpenAI、推論保持とコンパクションでARC-AGI-3スコア3倍化
OpenAIの最新モデル「GPT-5.6 Sol」が、ARC-AGI-3ベンチマークで当初のスコアを約3倍に伸ばした。わずか2つのAPI設定を切り替えただけである。単にベンチマーク成績を上げただけでなく、出力トークン量も6分の1に削減した。
GPT-5.6 Solは数学の未解決問題を証明し、ポケモンなどのゲームをクリアする実力がある。それにもかかわらず、2Dパズルゲームで構成されるARC-AGI-3では開始直後ほぼ無力に見えた。スコアはわずか7.8%である。
問題はモデルそのものではなく、評価を実行する「ハーネス（テスト環境）」の設計にあった。OpenAIが本番環境で使っている推論保持とコンパクションを適用したところ、スコアは13.3%から38.3%へと跳ね上がった。これは人間の平均スコア（48%）に大きく近づく数字である。
なぜGPT-5.6 SolはARC-AGI-3で苦戦したのか
ARC-AGI-3ベンチマークの概要
ARC-AGI-3は、AIエージェントが未知の2Dゲームを探索しながらルールを推論し、自力で解く能力を測るベンチマークである。人間には直感的に分かるような簡単なパズルでも、AIにとっては説明なしに仕組みを理解するのが極めて難しい。
このベンチマークは、AIがどれだけ「学習し、推論できるか」を厳密に評価するために設計されており、特殊なツールや支援機能は一切与えられない。公式が用意するハーネスは、どのモデルでも同じ条件で比較できるよう、意図的に簡素な作りになっている。
公式ハーネスの2つの問題点
OpenAIの調査チームは、GPT-5.6 Solがゲーム内でひとつ行動するたびに「思考が真っ白に戻っている」ことに気づいた。公式ハーネスは、次の行動を起こす前に、モデルが直前に行った非公開の推論メッセージをすべて破棄していた。
一連の行動記録や簡単なメモは残るものの、その行動を導いた計画やひらめきは記憶に残らない。つまり、モデルは毎ターン、ゲームの仕組みを一から考え直さなければならなかった。
さらに、会話のコンテキストが長くなると「ローリング打ち切り」が発動し、古い行動履歴から順に削除されていく。推論が消えたうえに、過去の行動すら見えなくなるため、長期的な学習がほぼ不可能だった。この2つの設計が、GPT-5.6 Solの性能を著しく抑え込んでいたのである。
この図のように、ハーネスの設計ひとつで、同じモデルの振る舞いが大きく変わる。単純な推論保持と圧縮によって、アシスタントとしての性能が劇的に改善することをOpenAIは示した。
推論保持とコンパクションがもたらした改善
推論保持の効果
GPT-5.6は、ChatGPTやCodexでも使われている仕組みとして、返答やツール呼び出しの前に非公開の推論メッセージを生成する。通常、この推論は会話履歴の一部として保持される。公式ハーネスではこれが破棄されていたが、OpenAIのResponses APIを使うと、前のレスポンスIDを次に渡すだけで自動的に推論が引き継がれる。
推論が保持されると、2つの大きな変化が起きた。まず、毎回ゲームのルールを最初から解釈する必要がなくなり、1回の行動にかかる思考時間が短縮された。次に、過去の思考を思い出せるようになったことで、モデルは時間をかけて学習し、一貫した戦略を取れるようになった。
コンパクションの効果
公式ハーネスは、コンテキストが175,000文字を超えると古いメッセージを削除する「ローリング打ち切り」を採用していた。これに対し、Responses APIのコンパクションは、会話が長くなったときに内容を要約して保持する。これにより、過去の観察や行動を失うことなく、より少ないトークンで同じ情報を維持できる。
コンパクションを有効にした環境では、GPT-5.6 Solはゲーム内で学んだことを長いプレイ時間にわたって保持しやすくなり、スコアがさらに向上した。結果として、出力トークン数も大幅に削減された。
パフォーマンスの大幅向上とトークン削減
公開タスクセットにおいて、公式ハーネスでのGPT-5.6 Sol（max）のスコアは13.3%だった。推論保持とコンパクションを適用した結果、38.3%まで上昇した。これは約3倍の改善であり、出力トークンはおよそ6分の1に減少している。
スコアに用いられている「RHAE（Relative Human Action Efficiency）」は、人間のパフォーマンスを基準にした指標である。ARC-AGI-3の公式プレイヤーログから推定される人間の平均スコアは48%であり、GPT-5.6 Solはその80%近くに達した。この数字は、適切なハーネスがいかに重要かを雄弁に物語る。
実務開発者への示唆
Responses API の活用推奨
OpenAIは、API利用者に対して、旧来のChat Completions APIではなくResponses APIを使うこと、そして推論保持とコンパクションを有効にすることを強く推奨している。これらの設定は、ChatGPTやCodexなどのプロダクトで実際に使われている本番構成と同じである。
特に、エージェント的な挙動や長期的なタスクをAIに任せる場合、推論保持とコンパクションは必須に近い。実装上の手間は最小限であり、Responses APIを使えばレスポンスIDを引き継ぐだけで実現できる。
ベンチマーク比較の注意点
今回の事例は、ベンチマーク評価がモデル単体の能力だけでなく、API設定やハーネス設計といった目に見えない要素も測っていることを思い出させる。低いスコアが報告されても、それはモデルの本質的な限界ではなく、評価環境の不備かもしれない。
OpenAI自身、過去にも公開ベンチマークで成績が低く驚いた後に、評価ランナーが推論メッセージを捨てる汎用ハーネスを使っていたことに気づいたという経験がある。モデルを比較する際は、ChatGPTやCodexの実運用に近い設定で評価された結果を基準にすることが望ましい。
この記事のポイント
- GPT-5.6 SolはARC-AGI-3で当初7.8%のスコアだったが、API設定変更後は38.3%まで向上
- 推論保持を有効にすると、過去の思考を再利用でき学習効率が上がる
- コンパクションによって古い情報を要約し、少ないトークンで文脈を維持できる
- Responses API を用いることで、ChatGPTと同等のパフォーマンスを引き出せる
- ベンチマーク評価にはハーネス設計が大きく影響するため注意が必要
・ 複数業界における17年間のデジタルビジネス開発経験
・ ウェブサイト開発のためのHTML、PHP、CSS、JavaScript等の実用的知識
・ 15ヶ国語対応の多言語SaaSの開発経験
・ 17年間にも及ぶ、Eコマース長期運営経験
・ 幅広い業界でのSEO最適化の豊富な経験
OpenAIがコード評価ベンチマークの30%に欠陥を発見、SWE-Bench Pro監査結果
コード生成AIの能力を測るベンチマークは、モデルの安全性と展開判断の重要な根拠となる。そのベンチマーク自体に欠陥があれば、過大評価や過小評価を招き、誤った研究優先順位や安全性の見落としにつながる。
OpenAIが2026年7月、広く使われているコード評価ベンチマーク「SWE-Bench Pro」の大規模な監査結果を公開した。タスク全体の約30%に「破損（broken）」と呼ぶべき根本的な問題があり、評価指標としての信頼性が揺らいでいるという。
SWE-Bench Proとは何か
SWE-Bench Proは、AIモデルのソフトウェア開発能力をより現実的なタスクで測るために作られたベンチマークだ。前身のSWE-bench Verifiedが抱えていた設計上の問題やデータ汚染（contamination）を受け、より長期のタスクと実践的なコーディング能力を評価できるように設計されている。
具体的には、GitHub上の公開・非公開リポジトリから実際の機能変更履歴をもとにタスクを抽出する。モデルは既存の機能を壊さずに新機能を実装し、追加されたテストケースをすべて通過するコードを書く必要がある。公開されている731のタスクに対し、わずか8カ月で最先端モデルの合格率は23.3%から80.3%に急上昇した。
上の図は、SWE-Bench Proで見つかった「過度に厳格なテスト」と呼ばれる破損パターンを簡略化したものだ。プロンプトでは「ログイン機能」とだけ指示されているのに、裏側のテストでは特定のライブラリ使用を強制している。こうしたタスクでは、機能的に正しいコードが機械的に不合格になる。
監査で明らかになった破損タスクの実態
データの3割が信頼できない
OpenAIの監査パイプラインは、731件の公開タスクのうち200件（27.4%）を破損としてフラグした。さらに経験豊富なソフトウェアエンジニア5名による独立した人間レビューでは、249件（34.1%）が破損と判定されている。単純計算で、評価データの約3割がモデルの真の実力を反映していないことになる。
この数字の意味は重い。8カ月で合格率が約3.4倍に向上したという華々しい進歩の裏で、点数を押し上げた要因の一部が「タスク側の欠陥をうまくすり抜ける能力」だった可能性を否定できないからだ。
4つの主要な破損カテゴリ
監査で特定された問題は、大きく4つのタイプに分類される。いずれも「モデルが正しくコーディングできたか」ではなく「テストの書き方やプロンプトの不完全さ」が合否を決めてしまうパターンだ。
- 過度に厳格なテスト（Overly strict tests）: プロンプトには書かれていない特定の実装詳細（使用するライブラリ、関数名、データ構造など）をテストが要求する。機能としては正しいコードが不合格になる。
- 要件不足のプロンプト（Underspecified prompts）: プロンプトに記載されていない要件が隠しテストで課せられている。しかも、周辺コードやリポジトリの慣習からも合理的に推測できない内容だ。
- 低カバレッジのテスト（Low-coverage tests）: テストが機能のごく一部しか検証しておらず、不完全な実装でも合格してしまう。
- ミスリーディングなプロンプト（Misleading prompt）: プロンプトの指示がテストの要件と矛盾している。モデルが指示通りに実装すると不合格になるという、本末転倒な状態。
特に注目すべきは、人間レビューとエージェントによる自動分析で頻度の評価が異なった点だ。最も顕著な差が出たのが「低カバレッジのテスト」で、エージェントが4.1%と評価したのに対し、人間レビューでは9.4%がこれを主な問題として指摘した。人間の方が複数の破損パターンの重なりを認識しやすいことが一因とみられる。
品質監査パイプラインの仕組み
3段階のフィルタリング
OpenAIが構築した監査プロセスは、大きく3つの段階で構成されている。
第1段階は自動フィルタリングだ。プロンプトの指示内容、モデルの解答試行、採点用テストの3つを照合し、矛盾や問題のありそうなタスクを機械的に抽出する。この段階で286件がフラグされた。
第2段階はエージェント支援の詳細監査。Codexベースの調査エージェントがリポジトリ環境にアクセスし、テストの実行、ファイルの精査、モデルの解答パターンと失敗モードの分析を繰り返す。周辺コードやリポジトリの慣習を理解した上で「単なる曖昧さ」と「真の要件不足」を区別する点がポイントだ。
第3段階は経験豊富なソフトウェアエンジニア5名による独立レビュー。各タスクについて、問題文、テストケース、正解パッチを検討した後に、エージェントの分析結果を補足情報として参照する。意見が分かれたり確信度の低いケースは追加レビューに回された。
この3段階構成で特筆すべきは、AIエージェントと人間のダブルチェック体制だ。AIだけでは保守的になりがちな判定を、複数人の専門家が補完する。OpenAI Blogの記事によれば、エージェントが「破損でない」と判断したタスクで、人間レビューで最も多いラベルが「破損」だったケースはゼロだったという。74%のケースで両者の判断は重なっていた。
なぜ破損タスクが生まれるのか
根本的な原因は、SWE-Benchシリーズのタスク抽出方法にある。GitHub上の実際のIssueやプルリクエストは、元々人間同士の協業のために書かれたものだ。メンテナーとコントリビューターの間で長いやり取りを経て仕様が固まり、コードがマージされる。
このプロセスでは、問題文とマージされたコード、添付されたユニットテストがきれいに一対一対応するとは限らない。テストは「その変更が正しいか」を検証するために書かれており、「同じ機能を実現する他の方法」を許容するようには設計されていないケースが多い。つまり、人間用の協業ツールをそのままAI評価用に流用したことに、そもそも無理があったというのが実態だ。
ベンチマーク設計の難しさと今後の展望
「難しくて公平」なベンチマークのジレンマ
評価の難易度と公平性はトレードオフの関係にある。難しくしようとすればタスクは複雑になり、意図せず特定の実装方法に依存したテストが紛れ込む。公平にしようとすればタスクは抽象的になり、現実のソフトウェア開発から乖離する。
SWE-Bench Proのケースは、このジレンマに真っ向から直面した好例だ。最先端モデルの合格率が80%を超えた段階で「さらに難しい評価が必要」という圧力がかかる一方、タスクの質を担保する仕組みが追いついていなかった。
AIエージェントによる品質チェックの可能性
今回の監査自体が、AIエージェントの新しい活用方向を示している。Codexベースの調査エージェントは、大量のタスクに対してテスト実行やリポジトリ精査を高速に繰り返し、人間だけではスケールしない品質チェックを実現した。
従来、ベンチマークの品質管理は人手に頼る部分が大きく、大規模なデータセットでは現実的ではなかった。OpenAIの事例は「AIがAIの評価基準をチェックする」というメタ評価の時代の到来を感じさせる。
これからのベンチマーク開発に求められるもの
OpenAIは今回の監査結果を受け、SWE-Bench Proを推奨するという以前の見解を撤回した。同時に、評価コミュニティ全体に向けて、経験豊富なソフトウェア開発者がAI評価専用にベンチマークを設計するアプローチを提唱している。
重要なのは「ゲーム化されにくく」「信頼でき」「本当のモデル能力を反映する」評価基盤だ。それが安全性判断や展開戦略の土台になるからだ。SWE-Bench Proの教訓は、どんなに広く使われているベンチマークでも、定期的な品質監査が欠かせないというシンプルな事実に尽きる。
この記事のポイント
- SWE-Bench Proの公開タスク731件のうち、約30%が破損していると判明した
- 問題は「過度に厳格なテスト」「要件不足のプロンプト」「低カバレッジテスト」「ミスリーディングなプロンプト」の4カテゴリに分類される
- OpenAIは3段階の品質監査パイプライン（自動抽出 → AIエージェント調査 → 人間レビュー）で問題を特定した
- ベンチマークの定期監査と、AI評価専用に設計されたデータセットの必要性が改めて浮き彫りになった
・ 複数業界における17年間のデジタルビジネス開発経験
・ ウェブサイト開発のためのHTML、PHP、CSS、JavaScript等の実用的知識
・ 15ヶ国語対応の多言語SaaSの開発経験
・ 17年間にも及ぶ、Eコマース長期運営経験
・ 幅広い業界でのSEO最適化の豊富な経験