Cover image for AI Harnesses Are Just Middleware, and Middleware Trust Bugs Are Older Than Your Career

Cor E

誰も聞きたくない事実がある：我々はすでに、コンポーネントが互いの出力を盲目的に信頼するシステムを破壊する方法を知っている。25年前から知っていた。それに新しい名前を付けて、教訓を忘れただけだ。

コンテキスト

「AIハーネス」とはオーケストレーションの接着剤である。LLMを取り込み、データベースへのクエリ、APIの呼び出し、ファイルの書き込みなど、実際に何かを実行できるようにコネクタ、プラグイン、ツール呼び出しの足場でラップすれば、それがハーネスだ。Dark Readingの記事は、声を出すと構造的に明らかなことを指摘している：これらのコンポーネントは信頼境界の連鎖を形成し、その多くが隣接するコンポーネントが渡す内容を検証しない。

その文でデジャヴを感じるなら当然だ。デシリアライズのバグ、内部サービス呼び出しによるSSRF、「信頼された」上流パーサーを介したXMLエンティティインジェクション——アプリケーションセキュリティの歴史全体は、コンポーネントAがコンポーネントBはすでに検証済みだと想定する歴史だ。新しいアーキテクチャパターンが十分にホットになり、本番トラフィックを引き寄せる前に脅威モデリングされるたびに、我々はこのパターンを再発見し続けている。

新しい部分は信頼境界の問題ではない。新しい部分は、連鎖の真ん中に座っているのが確率的なテキスト生成器であり、自身の入力によって奇妙な動作をさせられる可能性があり、それがツール実行に直接配線されていることだ。

誇大宣伝チェック

誇張されていること：これがAI特有の新しい攻撃クラスであり、AI特有の防御が必要だとする枠組み。それは違う。LLMの衣装をまとった統合セキュリティの問題だ。プラグインとコネクタが検証なしにコンポーネント間でデータをやり取りするようになった瞬間、暗黙の信頼でマイクロサービス群を結合する場合と同じ問題を抱えることになる。攻撃面は古いニュースであり、新たなのはペイロード配信メカニズム（プロンプト駆動のツール呼び出し）だ。

過小評価されていること：誰もがエージェントを急いで出荷しようとしており、エージェントを取り巻く配管については基本的なコンポーネント境界の脅威モデリングすら行っていないため、ハーネスがどれだけ速く出荷されているか。3スプリントをツール呼び出し間のスキーマ検証に費やしたチームになりたくないからだ。競合他社は派手なデモを出荷している。そのプレッシャーは現実的であり、消え去ることはない。

これを全く新しいAI脅威カテゴリと呼ぶことで誰が利益を得るのか？率直に言って、何かを売っているすべての関係者だ。ベンダーは新しい緊急性の物語と、「2015年に言ったようにインターフェースを検証してください」ではなく新しいツールを売り込む理由を得る。セキュリティチームは「SDLCの衛生状態を改善する」よりも正当化しやすい予算項目を得る。退屈だが真実の答え——つまり、どのような複数コンポーネントの分散システムにも適用するのと同じ厳格さを適用し、LLMの出力を境界を越えるあらゆる場所で信頼できない入力として扱う——から利益を得る者はいない。なぜならそれが本質だからだ。

意味合い

ハーネスを構築またはデプロイしている場合、実践的な教訓は地味なものだ。オーケストレータ、コネクタ、プラグインの間のすべてのホップはインターフェースであり、インターフェースには契約が必要だ：スキーマ検証、出力のサニタイズ、各ツール呼び出しが実際に実行を許可されていることへの最小権限のスコープ設定。LLMがそう言ったからといって、プラグインの出力を別のツールの実行コンテキストにそのまま渡してはならない。それはAI安全の問題ではなく、信頼できない入力のソースがフォームフィールドではなくLLMであるという入力検証の問題だ。

セキュリティチームにとって、これは「モデルが整列されている」と「パイプラインが安全である」がまったく異なる主張であることを思い起こさせるものであり、多くの組織が現在、前者しかチェックしていない。モデルの出力をレッドチームで検証することよりも、モデルが何かを生成し、それを次のコンポーネントに引き渡した後に何が起こるかをレッドチームで検証することの方が重要だ。

業界全体にとって：ハーネスアーキテクチャは、コンポーネントが互いをどのように認証または検証すべきかについての共有標準よりも速く増殖している。それが実際のギャップだ。信頼境界が存在するという認識の欠如ではなく、この特定のスタックでそれらを検証することがどのようなものであるべきかについての合意の欠如だ。

開かれた問い

ソフトウェアコンポーネント間の暗黙の信頼について20年にわたる厳しい教訓を得てきたのに、なぜ新しいアーキテクチャパターンが出現するたびに、誰かがそれらを適用するまでに5年の猶予期間が与えられるのだろうか？

— Cor, Skyblue Soft

出典