[Submitted on 28 Jul 2026]

View PDF HTML (experimental)

Abstract:當前基於 LLM 的程式碼生成代理會將程式碼以黑箱方式輸出：每一行的生成理由隱藏、透過基準測試修復的程式碼演進過程轉瞬即逝，且無法進行事後稽核。我們提出一種程式碼生成概念，透過三項互補機制解決這些缺點：(i) 關聯式片段歷史模式，記錄每次修復事件所對應的基準測試參考、輪次編號、失敗訊息與 LLM 解釋，實現完整來源查詢；(ii) 基於瀏覽器的視覺化工具，將此歷史以熱力圖與懸停註解方式呈現於原始碼；(iii) 具競爭力的分數位置鍵索引方案搭配樹狀節點分隔符號，為每個程式碼片段指派穩定且按字典序排列的識別碼，實現精細追蹤而不干擾周圍程式碼。我們在涵蓋字串處理、數學計算與資料結構操作的 30 個演算法程式設計任務上，跨兩種提供者配置評估 TraceCoder。其中 10 個任務在 6 次迭代預算內耗盡，涉及微妙的邊界行為。平均 Chg% 達 30%，每十個程式碼片段中有三個帶有可追蹤的修復事件列，相較於在 20 個任務子集上單獨使用 Gemini 2.0 Flash 時的 21%。三個詳細案例研究展示了系統如何說明最終程式中每一行受到哪些特定基準測試失敗的影響。此機制使自動化程式碼生成的內部「敘事」得以稽核與重播，這對於生產部署中的信任與責任至關重要。

Submission history

From: Marius Silaghi [view email]
[v1] Tue, 28 Jul 2026 22:03:52 UTC (137 KB)