[2026年7月26日提出]

PDFを表示 HTML（実験的）

要約：AIコーディングエージェントはソフトウェアエンジニアリングにおいて急速に普及しています。その逐次的なパフォーマンスについては、精度と速度の両面で幅広く研究されています。しかし、最近の初期結果では、並列プログラミング能力が逐次プログラミング能力に比べて遅れている可能性が示唆されています。本論文では、3つのコーディングエージェント（CursorのComposer 2.0、GPT 5.4、Claude Sonnet 4.6）について、3つのアルゴリズムカテゴリ（ソート、グラフ探索、探索）における並列コード生成を、C++、Python、Juliaの3言語でクロス言語評価します。各アルゴリズムと言語のペアに対して、コーディングエージェントに逐次ベースラインから並列実装を生成するようプロンプトし、機能的正しさとパフォーマンス改善の両方を達成するために必要なプロンプトの労力を追跡し、カスタム逐次ベースラインおよびサードパーティライブラリ実装の両方に対して速度向上を測定します。その結果、コーディングエージェントは控えめなプロンプト労力で正しい並列実装を生成できるものの、有意義な速度向上の達成はアルゴリズムと言語に大きく依存することがわかりました。Sonnet 4.6は全体的に最も強いパフォーマンス向上を示しましたが、GPT 5.4は一貫した正しさを示しながらも測定可能な速度向上は生み出しませんでした。C++はグラフアルゴリズムに対して最も一貫して並列化可能であり、PythonとJuliaは探索アルゴリズムで最大の速度向上を達成しました：どの言語もすべてのカテゴリで優位ではありません。PythonとJuliaは一部のグラフアルゴリズムで速度向上を達成しましたが、他のアルゴリズムでは逆効果となりました。これらの発見は、特に並列実装において、精度に加えてランタイムパフォーマンス効率を主要なLLMパフォーマンス指標として含めることの重要性を強調しています。

投稿履歴

投稿者: Shiqi Cheng [メールを表示]
[v1] 2026年7月26日 日曜日 19:31:17 UTC (21 KB)