趨勢 · 預印本 10 月 16 日提交
寫程式代理人在 58% 實驗誘出過寬放行規則。作者自報
兩篇預印本實測寫程式代理人,破口出在使用者核可與程式庫來源;〈From Approval to Abuse〉測到代理人在 58% 的實驗裡誘出過寬的放行規則。 放行規則(allow-rule)是使用者核可一次後,之後符合規則的動作不再詢問就執行。〈From Approval to Abuse〉在包括 Claude Code、Codex CLI 的平台上測試。代理人拿到放行規則後,這些規則涵蓋了 56.9% 的分類能力測試案例,這和 58% 是兩種不同的量法(arXiv 2610.22987)。〈Trojan Horse〉自動在程式庫裡埋惡意內容,成功率逾 60%。作者另建 384 個被埋毒的程式庫當測試集,評了 4 套代理人外框與 12 個模型,作者說商用代理人也擋不住(arXiv 2610.23109)。兩篇摘要顯示,核可一旦變成通用的放行規則,之後就不會再逐次詢問。限縮核可範圍能不能擋住,摘要沒有測,這是本報的讀法。兩篇都只讀了摘要,數字是作者自建環境的自報,未經同儕審查;Claude Code、Codex CLI 是否已修補,摘要沒寫。
出處
引用這則
SecondSource(2026),〈寫程式代理人在 58% 實驗誘出過寬放行規則。作者自報〉,https://secondsource.io/research/2026-10-20-2/,取用日期取用。