The rise of autonomous AI agents necessitates the utilization of zero-knowledge proofs, argues Brian Trunzo, chief growth officer at Succinct Labs.

Getty Images/Oscar Wong

AI生成コンテンツは、かつてはただの余興だった。指が6本ある法王や不気味なトム・クルーズのそっくりさんなど、脅威というよりは滑稽なものだった。その時代は終わった。イラン紛争がそれを証明した。拘束されたアメリカ兵の合成映像、イラン戦闘機が地下バンカーから飛び出す様子、レーダー施設の破壊された映像——すべてが捏造され、すべてが拡散され、すべてが広く信じられ、1フレームも検証される前に数億人に届いた。

私たちがかつて知っていたインターネットはもはや存在しない。見ることが信じることを意味していた場所で、今や疑念を引き起こす。私たちは信頼の危機を生きている。そしてそれは、目で見える範囲をはるかに超えて広がっている。

Brian Trunzo is the chief growth officer at Succinct Labs.

Detection doesn’t work

直感的な反応は、より優れた検知器を構築することだ。AIがAIを捕らえるために訓練される。しかし、それは機能しない。誰でも基本的なぼかしと歪みを加えることで、世界トップクラスの画像検知器を破ることができ、精度をわずか4%まで低下させる。検知が失敗するのは、アンチウイルスソフトウェアがマルウェアを排除できなかったのと同じ構造的理由による。攻撃者には常に非対称な優位性がある。

しかし、検知の失敗は問題の核心ではない。なぜなら、問題はすでに検知を超えて拡大しているからだ。

AIはもはやコンテンツを生成するだけではない。行動している。自律型エージェントはウェブを閲覧し、購入を行い、コンテンツを公開し、他のエージェントと交渉し、人間とやり取りしている。そして場合によっては、相手が機械と話していることを知らないかもしれない子供と関わっている。そして、これらのエージェントが大規模に運用されると、失敗モードは壊滅的になる。

微妙に毒されたデータで訓練されたエージェントは、医療請求に小さくももっともらしい誤りを生じさせ、それが病院ネットワーク全体に広がって数百万ドルの不正請求につながる。利益率を最適化する商業エージェントの群れは、運用者が意図せず説明できない価格設定の脆弱性を体系的に悪用し、数十億ドルの損失をもたらす。

訓練データセットの中で蝶が羽ばたくと、現実の経済に竜巻が引き起こされる。

被害が生じたとき、証拠は残らない。エージェントの推論は時系列の痕跡ではない。それは数十億の不透明なパラメータを1回通過するものであり、その出力は確率論的だ。同じ質問を2回しても、わずかに異なる答えが得られる。絶えず変化する変数に基づく決定を再構築する方法はない。エージェントが何を訓練されたか、どのような指示に従ったか、なぜそのような行動を取ったかを監査する方法もない。

最近のスタンフォード大学の報告書は、その核心的な緊張を明確に示している。この時代の決定的な課題は、AIができることと、社会が統治する準備ができていることの間のギャップだ。規制はこの課題の中心にあり、それは混沌とした状況だ。90以上の提言に及ぶ連邦枠組みの急増と、2025年だけで1,000件以上の法案が提出された州レベルの活動の爆発が同時に進行している。しかし、作成されている枠組みは、チャットボットの世界を想定したものであり、購入・販売・公開・相談・説得・決定を行うエージェントの世界を想定していない。

コンテンツラベルは役に立たず、開示だけでは十分ではない。自律型エージェントが行動を起こした時点で、すでに被害は発生している。これは検証の問題だ。

そして検証には証明が必要だ。

Proof will set us free

この文脈における証明は、暗号論的で独立して検証可能なものだ。主張ではなく、開示ではなく、透かしではない。AIシステムが主張する通りのことを、主張する通りの入力を使って、主張する通りの出力を生成したという改ざん不可能な保証——しかも、基礎となるデータを一切公開せずに。

これこそが、ゼロ知識（“ZK”）証明暗号が実現するものだ。ZK証明により、一方の当事者は、その主張自体の真実性以外の何も明かさずに、ある主張が真であることを証明できる。1985年のMIT論文The Knowledge Complexity of Interactive Proof Systemsで初めて形式化された当初は、エレガントだが理論的なものと見なされていた。2016年に研究者たちが、設計を公開せずに核弾頭を検証できることを示したことで状況が変わった。その後まもなく、ブロックチェーンに導入され、数十億ドルのデジタル資産を保護するようになった。

今、ZKはAIに到達しつつある。そこでの問題は計算ではなく、真実だ。

メディアにおいて、ZKは、写真が本物のデバイスで撮影され、検証された時刻に撮影され、改ざんされていないことを証明できる——写真や撮影者に関する機密情報を一切公開せずに。それだけで、情報環境は変革されるだろう。しかし、メディアの出所証明は入り口であって、終着点ではない。

より深い応用はAIそのものだ。推論時において、ZKは、特定のモデルが特定のパラメータで特定の出力を生成したことを証明できる——エージェントが行うすべての決定に対する検証可能なレシートだ。入力時においては、訓練データが毒されていないこと、認可されたソースから来ていること、規制要件を満たしていることを、独自のデータセットを公開せずに証明できる。出力時においては、結果をそれを生成したプロセスに暗号論的に結びつけ、すべての重要なAI決定を、企業秘密を明かさずに監査可能にする。そして、アイデンティティ層においては、ZKにより、人間は自分が人間であることを、エージェントは自分がエージェントであることを、誰もプライバシーを犠牲にすることなく証明できる。

A conceptual framework for restoring trust online

1990年代、ウェブには信頼の問題があった。誰でもサーバーを立ち上げて、自分が誰かであると主張できた。パスワード、クレジットカード、プライベートメッセージは、誰でも読める平文でインターネット上を移動していた。接続先のサイトが本当に主張するサイトであることを検証する方法がなかったため、大規模な商取引は不可能だった。

解決策はHTTPSだった。ブラウザはデフォルトでウェブサイトを信頼するのをやめ、暗号論的な証明を要求するようになった。認証局によって署名された証明書で、ドメインと公開鍵を結びつけるものだ。証明がなければ、ブラウザに鍵のアイコンは表示されない。最終的には、証明がなければ接続自体ができないようになった。ウェブが信頼できるものになったのは、プラットフォームが適切に振る舞うと約束したからではない。証明できない相手には機密データを送信しないとブラウザが拒否したからだ。

Web1は数学でスケールした。

Web2は異なる取引でスケールした。通信品位法のセクション230は、ユーザーが生成したコンテンツに対するプラットフォームの責任を免除し、その上にソーシャルインターネットが爆発的に広がった。言論に関しては、それは正しい取引だった。それがなければ、FacebookもYouTubeも、ユーザー生成のインターネット自体も存在しなかった。しかし、それは人間がタイムラインに投稿するための取引であって、世界に作用する自律型システムのためのものではなかった。エージェントが今突きつけている問い——行為者が人間でない場合、誰が責任を負うのか——に答える必要はなかった。

そしてWeb3が来た。投資家のChris Dixonはそれを「Read Write Own」と呼んだ。ユーザーが自分のデータを制御し、クリエイターが自分の価値を獲得し、プラットフォームがコミュニティに答えるというものだ。売りは所有権と分散化だったが、それは定着しなかった。Web3はNFT投機と同義になり、評価額が急落すると、ビジョンも崩れ去った。

Web3の本能は正しかった。私たちは信仰を保証に置き換える方法を必要としている。しかし、所有権だけではそこに到達できなかった。AIとエージェントがそれを明確にしている。問題は誰がプラットフォームを所有しているかではない。プラットフォーム上で行動しているのが誰か、何かを信頼できるかどうかだ。トークンは間違った原始だった。証明こそが正しい原始だ。

エージェント中心のインターネットでは、相手方——人間であれ機械であれ——は保証を必要とする。このシステムを誰が構築したか、どのようなデータがそれを形作ったか、どのような制約がそれを統御しているか、それが行動することを認められているかどうか。それらの保証は、基礎となるシステムが独自のものであっても成立しなければならない。特にその場合に。

ゼロ知識暗号は、これをコミットメントを事前に結びつけることで可能にする。開発者は自分の訓練データを暗号論的に指紋化でき、それによりZK証明は、基礎となるデータを公開せずに、アイデンティティ、出所、訓練データ、運用制約を検証できる。「私を信じて」ではなく、「証明せよ」だ。

これはもはや消費者保護の問題だけではない。国家安全保障の問題だ。

ディープフェイクは前座だった。エージェントが本番だ。外国の敵対勢力は、アメリカ人が見るものを操作するだけでは止まらない——彼らはアメリカ人の行動を操作するエージェントを展開するだろう。彼らは、取引相手が自分たちが何者で誰が認可したかを検証する方法がないまま、私たちの市場で取引し、私たちの機関とインターフェースし、私たちの子供と関わる自律型システムを展開するだろう。これは解決可能だ。しかし、アメリカが敵対勢力がその不在を悪用する方法を学ぶ前に、レールを構築した場合に限る。

政策はそれに従うべきだ。議会は、金融取引を扱ったり未成年者と関わったりするような高リスクのAIエージェントに対し、自分たちが誰で、誰が認可し、何をすることが許されているかを示す暗号論的な証明を、独自情報を公開せずに任意の取引相手が検証できる形で携行することを義務付けるべきだ。同じ論理は、それらのエージェントが行うことにも拡張されるべきだ。エージェントが人間や企業の代わりに機械の速度と規模で取引し始めるとき、すべての重要な行動——支払い、契約、取引、データ交換——には、誰が認可し、どのような制約の下で行われたかを示す証明が付随するべきだ。

技術的な基盤はすでに整備されつつある。米国商務省は国立標準技術研究所を通じて、Privacy-Enhancing Cryptographyイニシアチブでゼロ知識の標準化を模索している。その作業は優先され、格上げされるべきであり、その成果は連邦のベンチマークとなるべきだ。責任はコンテンツではなく、証明の欠如に付随するべきだ。

HTTPSは私たちにreadを与えた。セクション230はwriteを与えた。ZKはproveを与える。

Read Write Own Prove.

Note: The views expressed in this column are those of the author and do not necessarily reflect those of CoinDesk, Inc. or its owners and affiliates.