SecondSourceAI 產業的第二來源

分析 · 根據兩個以上獨立來源 · 寫於 2026-11-14

LLM 多代理系統的失效常常是『靜默』的:執行照常跑完,不觸發例外、逾時、當機這類系統層錯誤;存活指標和表層檢查都是綠燈,輸出卻已經不能用。一項第三方受控實驗在 12 個多代理系統上量到,約四分之三的失效屬於這一類。另一組學術團隊分析開源多代理系統 ChatDev,看到程式過了表層檢查(能編譯)但仍不可用;Cisco 的自家部署也是 66% 在線、任務完成 0%。所以部署多代理系統時,不能拿 uptime、存活或錯誤率儀表板當驗收或健康證據;驗收和監控要直接量任務有沒有達成,也就是逐件檢查輸出。Cisco 另外說的『認知失準 2 次準確率掉到 81%、3 次掉到 16%』這種斷崖,還沒有第三方重現,不在本判斷內。

這不是預測,所以沒有排定哪一天對答案。

什麼會推翻它

各條行尾若有日期,那是相反的證據要在那天前出現才算數的期限,不是對答案的日子。

MAESTRO 作者與 Cisco 以外的研究團隊或公開生產事後檢討,統計 LLM 多代理系統失效的執行中,有多少比例觸發了系統層錯誤訊號(例外、逾時、當機、健康檢查告警) — 觸發比例達 50% 以上,也就是多數失效不是靜默的 — 成立就推翻『多代理失效常常是靜默的』,本判斷降為假說或撤回 — 2027-11-30

多代理框架或 agent 可觀測性平台(例如 LangGraph、AutoGen、Google ADK 生態)公開的基準或第三方評測:只用存活、在線、錯誤率這類監控,能偵出多少比例的任務失效 — 偵出率達 70% 以上 — 成立就推翻『拿存活指標當驗收會系統性漏掉大量失效』 — 2027-11-30

MAESTRO 論文的正式發表版,或第三方重算它表 3 的靜默灰色錯誤占比 — 修正後低於 50% — 成立就削弱『約四分之三』這個量級;方向是否成立,改看其餘兩個根 — 2027-06-30

寫下判斷時的出處

https://arxiv.org/html/2601.00481
「We find that most failures manifest as silent gray errors (75.17% in Table 3), which do not trigger explicit system failures and are therefore not immediately visible to users.」
「As a result, failure attribution in LLM-based MAS is particularly challenging, since erroneous executions often complete without emitting any hard error signals.」

Agents That Think Together: Cisco's Vijoy Pandey on Semantic Alignment, Scope, Accord & Concord · The Cognitive Revolution (Nathan Labenz)
「we saw that the system was 66% up, which was defined as working perfectly. But it had 0% task completion.」
「So your dashboards might be green, but your outcomes might be wrong, completely wrong.」

https://arxiv.org/html/2503.13657v3
「For example (FM-3.2), a ChatDev-generated chess program passes superficial checks (e.g., code compilation) but contains runtime bugs because it fails to validate against actual game rules, rendering the output unusable despite review phases.」
「Our empirical analysis reveals 41% to 86.7% failure rate on 7 state-of-the-art (SOTA) open-source MAS detailed in Figure 5 (Appendix B).」