モデルが生のインテリジェンスを提供する一方で、harness はそのインテリジェンスをどれだけ効果的に活用するかを形作ります。GitHub Copilot エージェント harness は GitHub Copilot SDK の単一の共有コンポーネントであり、GitHub Copilot CLI、GitHub Copilot app、Copilot code review をはじめ、GitHub および Microsoft 全体のさまざまなエクスペリエンスを支えています。harness を改善すれば、あらゆるサーフェスが恩恵を受けます。

Diagram showing the agentic harness powers the GitHub Copilot CLI, the GitHub Copilot app, other IDEs like VS Code and Xcode, and others built with the SDK.
The GitHub Copilot agentic harness powers GitHub Copilot experiences.

ツール、コンテキスト、ワークフローは harness によってオーケストレーションされます。harness は開発者にとって高速で、トークン効率が高く、予測可能であるべきです。それが GitHub Copilot のエージェント harness の設計目標です。

本記事では、幅広いエージェント型ソフトウェアエンジニアリングタスクにおける GitHub Copilot エージェント harness の効率とパフォーマンスを示すデータを紹介します。

How we iterate with benchmarks

GitHub Copilot エージェント harness の能力と効率は、パブリックおよび社内開発のベンチマークを組み合わせて継続的に評価しています。パブリックベンチマークには業界標準を含み、社内ベンチマークのいくつかは GitHub および Microsoft 内の大規模コードベースから派生しています。これに実世界の指標やオンライン実験を加え、制御された環境での harness のパフォーマンスと、エージェント型問題解決およびタスク完了への実践的な影響を把握しています。

GitHub Copilot の harness のパフォーマンスをモデルプロバイダーの harness と比較する際は、可能な限り多くの変数を制御しています：同じモデル、同じベンチマークタスク、コンテキストウィンドウ、正規化された推論努力、ツール選択、MCP サーバーを揃えています。

以下では、4 つの主要モデル（Claude Sonnet 4.6、Claude Opus 4.7、GPT‑5.4、GPT‑5.5）にわたる、追跡対象ベンチマークの一部における最新結果を報告します。

Benchmark Domain Purpose
SWE-bench Verified 500 human-validated bug-fix tasks from open-source Python repositories Established industry-standard benchmark for coding agents
SWE-bench Pro More difficult, multi-step engineering tasks requiring deeper reasoning and broader code changes Better reflects complex, real-world software engineering work
SkillsBench How effectively an agent uses skills to solve tasks Evaluates extensibility and skill use and triggering capabilities
TerminalBench Agent performance on terminal-based tasks Measures effectiveness in command-line workflows used by developers
Win-Hill Internal benchmark for tasks running inside Windows containers Validates that performance generalizes across operating systems and environments

全体を通じて、GitHub Copilot CLI を、モデルベンダーがネイティブに提供する harness（Sonnet 4.6 および Opus 4.7 向けの Claude Code、GPT‑5.4 および GPT‑5.5 向けの Codex CLI）と比較します。

Token efficiency

モデルとタスクを固定した複数ベンチマークの結果において、GitHub Copilot harness は他のモデルベンダー harness と同等のタスク完了率を達成しつつ、ほとんどの構成でトークン消費量を低減しています。

Chart showing Copilot CLI versus model-vendor harnesses using SWE-bench Verified, SWE-bench Pro, SkillsBench, Win-Hill, and TerminalBench2 tests. For Sonnet 4.6 and Opus 4.7, Copilot CLI performed better in all cases, using fewer tokens. For GPT 5.4 and GPT 5.5, CLI performed better in all cases except SWE-bench Verified, where it did 7% and 4% worse, respectively.
Token efficiency: GitHub Copilot CLI vs. other model-vendor harnesses

Task resolution

トークン効率は、実際に作業が完了してこそ意味があります。

固定されたモデルおよびベンチマークタスクを使用した場合、GitHub Copilot エージェント harness のこれらのベンチマークにおけるタスク解決率は、モデルベンダー harness と同等です。これにより、基盤となるモデルの潜在能力を最大限に引き出しつつ、マルチモデル柔軟性、トークン効率、メモリおよびコンテキスト機能を活用できます。

Task resolution benchmarking test results for Copilot CLI versus model-vendor harnesses. For SWE-bench Verified tests, Copilot CLI performed better with Sonnet 4.6 and Opus 4.7, but worse with GPT 5.4 and GPT 5.5. For SWE-bench Pro, Copilot CLI only performed slightly worse with Sonnet 4.6, and performed better for other models. For SkillsBench, Copilot CLI performed worse for Sonnet 4.6 and Opus 4.7, but better for GPT models. For Win-Hill, Copilot CLI performed equal or better for all models. For TerminalBench 2, Copilot CLI performed better for Sonnet 4.6 and Opus 4.7, equal for GPT 5.5, and worse for GPT 5.4.
Task resolution: GitHub Copilot CLI vs. the model-vendor harnesses

これらの結果は実効的な同等性を示しており、どちら方向の差もモデルの確率的な性質によるばらつき範囲内であるため、ハーネス間の性能は同等です。

TerminalBench: Token efficiency, task completion, and variance

GitHub Copilot エージェント harness のタスク完了率とトークン効率を継続的に向上させるため、ベンチマーク全体で徹底した分析を定期的に実施しています。以下は TerminalBench 2.0 における分散分析の例で、GitHub Copilot のタスク完了率とトークン効率における強みだけでなく、この種のベンチマークに内在する実行間分散も示しています。

A diagram showing mean cost per task compared to the resolution rate. Copilot CLI performs equal to or better than model-vendor harnesses.
Resolution rate vs. cost per task. Up and to the left is better: solve more, spend less.

各マーカーは TerminalBench 2.0 上のエージェントとモデルの構成を表し、縦軸が解決率、横軸がタスクあたりのドルコストです。各点の周囲の陰影付き楕円は ±1σ の実行間ばらつきを示しており、各構成が実行ごとにどれだけ変動するかを表しています。

注目すべき点は 3 つあります。

  1. GitHub Copilot のエージェント harness は、評価対象の構成において、タスク完了率とタスクあたりのコストの両方で他のエージェントと同等または上回る。紫色（Copilot）のマーカーと同モデル競合は、ほぼすべてのモデルで両軸の楕円が重なっており、差は実行間分散の範囲内です。Copilot は完了率で競合を下回ることも、コストで右側に位置することもありません。
  2. 実行間変動性。各エージェント-モデル組み合わせを少なくとも 5 回実行しました。楕円はこれらの実行の 1σ 範囲を示しており、楕円が狭いほど再現性が高く、広いほどコストとタスク完了の両方で実行ごとに結果が大きく変動することを示します。
  3. GitHub Copilot のモデル選択の利点：このチャートは実際のトレードオフを示しています。GPT モデル（左側）は最高の価値を提供します。高い解決率を最低コストで実現します。Claude Opus（右上）はプレミアム価格で最高の解決率に到達します。GitHub Copilot は両方を提供するため、効率とタスクごとの最高品質のどちらかを選択できます。

One harness, many models

GitHub Copilot エージェント harness は、GPT、Claude、Gemini、MAI ファミリーの 20 以上の最先端モデル をサポートし、オープンソースおよびローカルモデル向けに独自キーの持ち込みも可能です。各タスクの能力とコストプロファイルに最適なモデルを選択するか、Auto model selection にタスクの意図とモデルの健全性を考慮した選択を任せ、トークン効率を最適化できます。

マルチモデルアーキテクチャは、モデルベンダーの harness では提供できない harness レベルの機能も解放します。たとえば Rubber Duck は、異なるモデルファミリー間の相互批評を利用し、単一モデルでは得られない成果向上を実現します。

Conclusion

ベンチマークは複数のシグナルの一つに過ぎません。ベンチマーク、実世界の使用指標、オンライン実験を通じて品質を継続的に向上させ、すべてのトークンを効率的に最大限活用することを目指しています。

GitHub Copilot は、主要なモデルベンダー harness と同等のタスク解決率を達成しつつ、いくつかの構成でトークン使用量を削減し、マルチモデルアーキテクチャにより単一モデルへのロックインを回避します。開発者にとっては、トークンコストを抑えつつ同等のタスク完了を実現でき、なおかつタスクに最適なモデルを選択できることを意味します。

Try it yourself

お好みのモデルで GitHub Copilot を試し、日々行っているタスクでアプローチを比較し、異なるモデルやエージェント戦略がご自身の環境でどのように機能するかを確認してください。

詳細はこちら：

これらのエクスペリエンスは同じエージェント harness によって支えられています。今後もその品質、効率、柔軟性を向上させていきます。

Methodology

比較を可能な限り制御され再現可能なものにするため、各エージェントをモデル、タスク、環境にわたって同等の設定で実行しています。

すべての実行に 2 時間のタイムアウトを設定しています。すべてのエージェントは非対話型シングルターンで実行し、ウェブツールは無効化、すべてのツールを許可しています。

TerminalBench2 analysis：エージェントのデフォルト設定を有効にし、推論努力を medium に設定（例：Claude Code ではツール検索を有効化、Copilot CLI では github-mcp-server を使用）。Codex および Claude Code は Anthropic および OpenAI の直接エンドポイントを使用します。完全かつ信頼性の高い結果を確保するため、欠損データやインフラ関連の失敗は、TerminalBench2 の全 89 タスクで結果が得られるまで再実行しました。モデル生成のエラーは保持し、分析から除外していません。各モデルは 5 回の独立した実行で評価し、Copilot は Claude Code および Codex との比較を可能にするため 2 つの別バッチでテストしました。

All benchmarks：すべてのエージェント-モデルペアを、同じコンテキストウィンドウサイズ、同じプロンプトトークン制限、推論努力（medium）、設定（ツール検索なし、MCP サーバーなし）に正規化し、harness のデフォルト内蔵ツールを保持しています。インフラ関連の異常およびネットワークアクセスの影響は、すべてのエージェントでベンチマーク全体から除外し、公平な比較を確保しています。規模の小さいベンチマーク（<100 インスタンス）における実行間変動の影響を低減するため、5 回の独立した実行を実施し、最もスコアの高い実行を報告しています。すべての指標は pass@1 で提示しています。これらの正規化により、通常は高い推論努力やその他の調整設定を使用する公開ベンチマーク提出結果とは異なる結果となります。