木曜日、Anthropicはreflectionという新機能をリリースした。これはユーザーがClaudeの活動を追跡・確認できるものだ。メモリ機能がオンになっているFree、Pro、Maxユーザーを対象にベータ版で提供されており、ユーザーが「Claudeの使い方について振り返る」ことを目的に設計されたとAnthropicは述べている。

しかし、エンジニアリングのリーダーたちは、この機能が本当に意味のある洞察を提供できるかどうかについて懐疑的であり、AIへの判断力を高めることを意図したものが、逆にAIの提案や助言への依存を強めてしまうのではないかと懸念する声もある。

GoGlobyの共同創業者兼CTOであるSergey Matikaynen氏は、The New Stackに対し次のように語った。「使用状況を考えさせるツールが、判断力を向上させるわけではない。」

Reflectionは使用状況を追跡するが、開発者が本当に求めているものではない

reflectionダッシュボードでは、Claudeユーザーは過去1ヶ月、3ヶ月、6ヶ月、12ヶ月の活動を確認できる。高レベルのサマリーでは、Claudeを最もよく使う用途や主要なトピック、使用パターンが示される。

この機能は、人々がClaudeをどのように使っているかの具体例もハイライトする。「メールの下書きを自分の声で作り直すことが多い、または戦略を自分で決めてからタスクを委任する」など、Anthropicは説明している。

しかし、AI企業が「Claudeの使い方を振り返り、洗練させる」きっかけとして提示するものは、本当の分析や改善を促すのに十分な深みがないと指摘する声もある。

「使用状況を考えさせるツールが、判断力を向上させるわけではない。」

例えば、reflectionのような使用状況ダッシュボードが、開発者がAIを使うタイミングをより良く判断するのに役立つかどうかを尋ねられた際、Traversalの共同創業者兼CEOでコロンビア大学の助教授であるAnish Agarwal氏は、The New Stackに対し可能性は見出すものの、Anthropicのバージョンは適切なシグナルを捉えていないと語った。

「AIをコーディングの80%に使ったことを知っても、自分の働き方は変わらない。」

彼が代わりに求めているのは、コーディングの行動と本番環境の成果を結びつけるシステムであり、「AIが生成した変更のうち、どの変更がインシデントにつながったか、どの変更が大幅な人間によるレビューを必要としたか、エンジニアが数秒で受け入れたコードのデバッグに何時間も費やしたか」といった質問に答えるものだ。これはAIのエンジニアリング成果への影響を評価するためのより良いシグナルを必要とする、新たなマネージャー的なエンジニアにとって、ますます大きな問題となっている。

Matikaynen氏もAgarwal氏と同様にAI使用状況の洞察に関心を持っているが、reflection自体は有用なほど詳細ではないと同意する。彼は、AI支援のプルリクエストのレビューにかかる時間などのシグナルを捉える、より成果重視の洞察を求めている。

「エンゲージメントシグナルベースではなく、デリバリーシグナルベースであれば」と彼は言う。そうすれば、開発者や他のユーザーがAIを選ぶか人間の作業を選ぶかを判断するのに役立つ可能性が高い。しかし、Anthropicが現時点で提供しているものは、少なくとも彼の目には十分ではない。

「それは、出荷に値するものを生み出す活動とは何の関係もない活動のカウントだ。」

AIを使うタイミングを決めるには、AIが持っていない文脈が必要

Anthropicは、Claudeユーザーへのインタビューで、AIの使い方をよりよく理解したいという要望が明らかになったため、reflectionを設計したと述べている。具体的には、AI企業は、新機能が「どれくらいの頻度でAIを使うべきか」「AIが適したタスクはどれか、人間に任せた方が良いタスクはどれか」といった質問に答えるのに役立つことを期待している。

そのため、reflectionは使用状況をまとめるだけでなく、「進行中の作業の文脈を再度説明する必要なくProjectを開始する」など、Claudeをより効果的に使うための提案も提供するとAnthropicは述べている。

しかし、エンジニアリングのリーダーたちは、これらの質問に答え、いつどのように作業をAIに委ねるかを決めるべきではないと主張する。ベンダーやシステムに任せるべきではないというのだ。

そのようなガイダンスはどこから来るべきか尋ねられた際、Veracodeの共同創業者兼チーフセキュリティエバンジェリストであるChris Wysopal氏はThe New Stackに対し、次のように語った。「AIベンダーは自社モデルの強みと限界を説明すべきだが、AIを使うタイミングの最終的な権限を持つべきではない。」その決定は、組織自身のエンジニアリングおよびセキュリティのリーダーによって行われ、独立したガバナンス層によって強制されるべきだと彼は述べている。

さらに、Agarwal氏は、ClaudeのようなAIツールは実際にはAIの使用に関する意思決定を支援できないと指摘する。なぜなら、微妙な評価を行うために必要なより大きな文脈や組織的知識を欠いているからだ。

「モデルが知っているのは、あなたがそれと交わしている会話だけだ」と彼は説明する。これは、エンジニアリング組織が何年にもわたって蓄積してきた本番履歴、アーキテクチャの知識、インシデントデータに比べればほんの一部に過ぎない。「AIが適切な場所と、人間の判断が依然として不可欠な場所を決定すべきシグナルは、まさにこれらだ」と彼は言う。

AIの使用を判断するためにAIを使うリスク

そして、タスクにAIを使うべきかどうかを検討するよう促すためにAIツールを使うという皮肉がある。

「彼ら（Anthropic）のビジネスモデルは使用量の増加に依存しており、使用量増加から利益を得る当事者からの抑制に関するガイダンスは、常に状況が求めるものより緩いものになる」とSergey氏は指摘する。

なお、reflectionダッシュボード自体は、ユーザーにClaudeを使うべきか使わないべきかを明示的に指示するものではない。むしろ、Anthropicの説明によれば、この機能は「Claudeが果たす役割を一歩引いて検証するよう促す」ものであり、「Claudeがより速くできることでも、自分で続けたいことは何か」といった質問を時折表示し、Claudeと一緒にその決定について話し合う機会を提供する。

しかしAgarwal氏は、AnthropicにはユーザーをClaudeに関与させ続ける明確なインセンティブがあると同意し、AIの使用についてAIツールと話すことは本当に役立つのかという疑問を投げかける。

より懸念されるのは、ユーザーが最終的にエンジニアリングの品質ではなくエンゲージメントを最適化するようになるリスクだと彼は警告する。reflectionダッシュボードが監視し、最適化の対象となる単なる数字のセットになってしまえば、本来のエンジニアリング目標からさらに遠ざかる結果を招く可能性がある。

YOUTUBE.COM/THENEWSTACK

Tech moves fast, don't miss an episode. Subscribe to our YouTube channel to stream all our podcasts, interviews, demos, and more.

Group Created with Sketch.