AIラボはPelicanmaxxingをしているのか？

ここ数年、Simon Willisonは主要なLLMリリースをすべて同じプロンプトでテストしてきました：「自転車に乗ったペリカンのSVGを生成せよ」。

冗談めかしたベンチマークとして始まったこの取り組みは、今やAIにおける最も有名な非公式ベンチマークのひとつになりました。Simonの「自転車に乗ったペリカン」の結果は、AIラボからの新リリースを発表するHacker Newsのスレッドで最も高評価のコメントになることがしばしばあります。

このベンチマークは今や十分に有名になり、有用性や、AIラボがこれに対して1benchmaxxingをしているのではないかという議論が多数なされています。何十億、時には何兆ドルもの金額が賭けられており、良い結果がユーザーを説得する助けになるかもしれないとなると、モデルを少しpelicanmaxxしたくなっても不思議ではありません。

そこで私は調べてみることにしました。小規模な実験を行い、7つの最先端モデルから1,008個のSVGを生成し、LLM judgeでスコアリングし、分析にはClaude Fable 5を使用しました。

この記事ではその結果を紹介します。すべてのコードはGithubで公開しています。

テスト方法

8種類の動物 × 6種類の乗り物 = 48のプロンプトのグリッドを作成し、有名なプロンプトはそのうちの1セルです：

1. 動物: pelican, flamingo, heron, otter, raccoon, antelope, whale, cat
2. 乗り物: bicycle, unicycle, skateboard, scooter, plane, boat

すべてのプロンプトはSimonのものとほぼ同一の表現を使い、動物と乗り物だけを入れ替えたものです。動物と乗り物の選択は厳密な方法で行ったわけではありませんが、元のプロンプトとの類似度と難易度を変えるよう努めました。Flamingoとheronはpelicanにかなり似ており、cat、raccoon、otterは簡単なケース、antelopeは難しく、whaleは最も異なるものとして選びました。

OpenRouterを通じて7つのモデルをテストしました：GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Pro。各プロンプトにつき3サンプルをtemperature 1.0で生成し、すべてのモデルに同じ推論努力を要求しました。その結果、1,008個のSVGが生成されました。

その後、各画像を3段階のパイプラインで処理しました：

1. レンダリング: 各SVGをPNGにレンダリングします。モデルがSVGを返さなかった場合やレンダリングに失敗した場合は、有効なSVGが生成されるまで再生成し、試行回数を記録しました。1,008回の生成のうち、再試行はわずか11回でした。
2. 判定: GPT-5.6 Lunaが各画像を動物、乗り物、動作の整合性について1〜5の評価でスコアリングします。動物や乗り物を順位付けする場合は、対応する評価を単独で使用します。画像ごとに1つの数値が必要な場合は、3つの平均値をjudge scoreと呼びます。
3. 特徴抽出: より詳細な分析のため、各レンダリング画像をGemini 3.1 Flash-Liteに渡し、認識された動物と乗り物、被写体の向き、シーンの要素の自由記述リストを記録しました。

私の仮説は、もしラボがこのベンチマークで学習していた場合、pelicanの行がその動物に期待される以上のスコアを示すか、bicycleの列がその乗り物に期待される以上のスコアを示すか、特定のpelican-bicycleセルが両方を上回るかのいずれか、またはそれらの組み合わせで現れるはずだというものです。

証拠 #1: 自転車に乗ったペリカンは特に優れていない

スコアリングを行う前に、最もシンプルなテストは自分で画像を見ることです。ラボを選択して、そのラボが描いたすべての画像をjudgeのスコアとともに確認できます（クリックでフルサイズで開く）：

以下の分析を行う前に、自分で画像を確認しました。特に目立つものはありませんでした。pelican-bicycleの画像がそのモデルのグリッドの他の画像よりも明らかに優れているケースは見つかりませんでした。GLM-5.2の最初のサンプルでは、他の画像より少し優れているように感じられましたが、そのバッチではheron on a skateboardもかなりクールなものが生成されたので、確定的なことは言えません。それ以外は、各モデルが通常描くものと同様であり、良いpelican on a bicycleを描くラボは他の動物と乗り物の組み合わせも上手く描いています。

しかし、このテストは再現が難しく、意見も人によって異なります。そこで、より定量的なアプローチを採用したのが、上記の方法です。

証拠 #2: ラボはペリカンを特に上手く描けていない

以下は、すべてのモデルをプールした動物ごとの平均動物評価です：

pelicanは8種中6位で、cat、whale、raccoon、heron、antelopeに次いでいます。AIラボがこのベンチマークで学習していたなら、pelicanがトップに来ると予想されますが、実際には下位半分に位置しています。7つのラボすべてが、pelicanよりもcat、whale、raccoonを上手く描いています。

もちろん、pelicanはcatよりも描きにくい可能性があります。ラボがpelicanで学習していても、簡単な動物を上回ることはないかもしれませんので、このランキングだけではそれを否定できません。証拠 #4で難易度を調整します。

証拠 #3: ラボは自転車を特に上手く描けていない

自転車はさらに悪く、plane（最下位）とほぼ同率で下から2番目です：

ラボがこのベンチマークで学習していたなら、自転車がこのランキングの上位に来ると予想されますが、そうではありません。ただし、ここでも同じ注意点が当てはまります。自転車はスケートボードよりも描くのが難しく、2つの一致した車輪、両方の車軸に届くフレーム、ハンドル、サドル、ペダルが必要です。judgeは自転車の画像の3分の2で、これらのいずれかが欠落または接続されていないことを指摘しています。自転車の画像で学習しても、単純な乗り物と比べて優れた結果を出せない可能性があります。

planeについては、「plane」ではなく「airplane」を選ぶべきでした。モデルがこれを幾何学的に解釈することが多く、動物が飛行機を飛ばすのではなく、平らな面に立っているように描くためです。planeは、feature extractorが乗り物を一切認識しなかった唯一の乗り物です（168画像中25画像、他の5つは0）。また、planeの画像の20%が乗り物評価で1または2を獲得したのに対し、自転車では5%、ボート、スコーター、スケートボードでは0%でした。

証拠 #4: 難易度を調整しても、ラボは自転車に乗ったペリカンを特に上手く描けていない

この2つを組み合わせると、「自転車に乗ったペリカン」は48種中42位とランキングの下位に位置します：

しかし、一部の組み合わせは単に他のものよりも描くのが難しい可能性があります。

これを考慮するため、すべての1,008画像に対して固定効果回帰を適合させました：score ~ lab + animal × vehicle、さらにpelican、bicycle、pelican-bicycleセルに対するラボごとの交互作用項を追加し、ロバスト標準誤差を使用しました。animal × vehicleの項は48の組み合わせすべての固有の難易度を吸収します。交互作用は、平均的なラボに対する各ラボのベンチマーク特有のブーストを測定し、信頼区間を示します。

結果は以下の通りです：

1. ラボごとのpelican効果（6つの乗り物すべてにわたるpelicanに対するラボのブースト）はすべて-0.11から+0.14 judge pointsの間に収まり、有意に近づくものはありませんでした（最小p = 0.25）。
2. ラボごとのbicycle効果（8つの動物すべてにわたるbicycleに対するラボのブースト）は、Grok 4.5の-0.18（p=0.11）からGemini 3.5 Flashの+0.27（p=0.022）まででした。p < 0.05をクリアしたのはGeminiのみで、7つの値は両方向に分散していました。
3. pelican-bicycleセルの効果（ラボのpelican効果とbicycle効果に加えた、特定の組み合わせに対する追加のブースト）は、p < 0.05をクリアするものがありませんでした。最大の正の値はGLM-5.2の+0.35（p=0.12）で、先ほど言及したものです。この実験で最もシグナルに近いものですが、まだ偶然の範囲内です。

以下はラボごとの完全な推定値です。pelicanmaxxingしているラボは、行全体でゼロラインの右側にドットを表示するはずです：

すべてのpelican区間とすべてのセル区間がゼロを含んでいます。唯一含まれていないのは、bicycle列のGemini 3.5 Flashです。しかし、p < 0.05で21回の検定を行った場合、偶然だけで約1回の偽陽性が予測され（21 × 0.05 ≈ 1.05）、実際に1回でした。また、多重比較補正にも耐えられません：21回の検定に対するBonferroni閾値は0.05/21 ≈ 0.002ですが、そのp値は0.022でした。推定値とp値の完全な表はリポジトリにあります。

ただし、これらの区間は平均で約±0.6 judge pointsと幅が広いです。それより小さいブーストはこのテストでは捉えられません。

証拠 #5: pelican-bicycleのシーンは記憶されたもののように見えない

一部の人々は、pelican on a bicycleが記憶された構図のように見えると指摘し、pelicanが常に右を向いている、または太陽やスカーフなどの繰り返される要素があるなどのパターンを挙げています。そこで、これが本当かどうかを調べました。

向き: 7つのラボすべてにわたる21のpelican-bicycle画像は、すべて右を向いています。他の動物/乗り物の組み合わせではそうではありません。

しかし、右向きは一般的です：1,008画像の60%が右を向いています。どれだけ一般的かは動物と乗り物によって異なり、自転車は最も強い2つの乗り物の1つです：

pelicanも右を向きやすい動物の1つです：

ペリカンや自転車を正面から描くのは難しいため、モデルはほぼ常に横から、左または右を向いて描きます。そのため、曖昧な画像はほとんどありません。他の組み合わせもほぼ一致に近づきます：antelope on a scooterとpelican on a scooterは20/21、heron on a bicycleは19/21です。したがって、21/21は外れ値とは言えません。

シーンの要素: extractorに画像内の任意の要素を命名させました。以下はその数です：

記憶されたシーンであれば、同じ要素のセットが何度も繰り返し現れるはずです。そこでそれを調べたところ、一部の組み合わせは毎回同じ要素を生成する傾向があることがわかりました。すべてのflamingo on a boatには太陽が入っています。Otters on planesは38%の確率でスカーフを着用しています。Cats on bicyclesは38%の確率でバスケットを手にしています。

pelican on a bicycleには特に目立った特徴はありません。他の動物と乗り物の組み合わせと同様に、出現頻度の高い要素がいくつかあるだけです。

限界

1. スコアリングに単一のLLM judgeを使用。 ここでのすべてのスコアは、1つのモデルGPT-5.6 Lunaが1つの画像を1回ずつ見て付けています。アライメントはあまり行わず、再実行時の自己一致率も確認していません。モデルが描画を確実に判定できない場合、上記の数値は意味をなしません。また、judgeは出場者の1つであるGPT-5.6 Terraと同じファミリーです。ただし、すべてのラボが48の組み合わせすべてを描いているため、あるラボのスタイルを好むjudgeはそのラボのグリッド全体を一様に引き上げます。しかし、この分析はラボ内の差異のみを扱うため、結果は変わりません。
2. SVGmaxxing。 SVG生成全体（または動物と乗り物のようなサブセット）を最適化したラボは、すべてのセルで同時に上昇し、単に優れたラボと区別がつきません。Google/DeepMindのような一部のラボは公然とこれを行っています。この実験ではそれを検出できません。
3. 予算の制限。 実験全体のAPIクレジットは約80ドルでした。これにより、セルあたり3サンプル、単一のjudge、7モデルに制限されました。また、「plane」と「airplane」のケースのように、プロンプトやパイプラインを繰り返し改善することもできませんでした。

結論

HNの批判者の方々、申し訳ありませんが、AIラボがpelicanmaxxingをしているという証拠はほとんどありません。少なくとも、明らかな形で行っているわけではありません。

ペリカンは他の動物より上手く描けていません。自転車は他の乗り物より上手く描けていません。また、どのラボも、pelicanとbicycleの既存の性能から予測される以上に、組み合わせを上手く描けていません。GLM-5.2が最も近く、正確なpelican-bicycleセルで最大のブーストを示し、最初のpelican-on-bicycleサンプルが私の目を引きました。しかし、効果は小さく有意ではないため、あまり重視すべきではありません。

もう1つの目立つ点は、シーン構成における向きです。21のpelican-bicycle画像はすべて右を向き、グリッド内ですべての画像が一致する唯一の組み合わせです。しかし、それは特に奇妙なことではありません。右向きは実験全体で標準です。他の3つの組み合わせが90%以上に達しており、48の組み合わせの中で1つが21/21に達したとしても驚くことではありません。

より妥当な話は、Google/DeepMindが行っているようなSVGmaxxingです。他のラボもより静かに行っている可能性があります。残念ながら、この実験では誰が行っているかを特定できません。しかし、少なくともAIラボがSimon Willisonを騙すためにペリカンと自転車のテラバイトを生成しているわけではないことを知って、今夜は安心して眠れるでしょう。

データをご自身で確認したい場合は、完全なパイプラインがリポジトリにあります。

脚注

1. 人気のベンチマークで高得点を達成するためにAIモデルを最適化する行為。↩︎

引用

BibTeX引用：

@online{castillo2026,
  author = {Castillo, Dylan},
  title = {Are {AI} Labs Pelicanmaxxing?},
  date = {2026-07-18},
  url = {https://dylancastillo.co/posts/pelicanmaxxing.html},
  langid = {en}
}

帰属表示については、この著作を以下のように引用してください：

Castillo, Dylan. 2026. “Are AI Labs Pelicanmaxxing?” 7月 18日. https://dylancastillo.co/posts/pelicanmaxxing.html。