Bible Network Crypto DeFi Onchain RWA AI Agent Stablecoin Chain SAFU CryptoTax DeFAI AGI Claude Me Claude Skill Claude Design Claude Cowork
獨立知識媒體
與任何項目無關聯
拆解加密世界的 AI Agent:機制、風險、經濟模型
aiagent-bible.com
最新
怎麼建你的第一個 Onchain Agent:從零開始的最小可行架構,以及部署前必確認的 Checklist  ·  2025 年 AI Agent 監管全景:美國、歐盟、亞洲的最新進展,以及對 Onchain Agent 開發者的實際影響  ·  AI Agent 的幻覺在 DeFi 裡有多危險:四種來源、真實案例,以及防禦設計  ·  Onchain Agent 的 Gas 優化設計:批次交易、動態策略、時機選擇,讓你的 Agent 少付 60% 手續費  ·  Agent 代幣經濟設計:為什麼大多數 Agent 代幣失敗,以及好的代幣設計長什麼樣  ·  AI Agent 的 Context Window 管理:為什麼你的 Agent 會「忘事」,以及四種解決方法
risk

AI Agent 的幻覺在 DeFi 裡有多危險:四種來源、真實案例,以及防禦設計

30 秒速讀
DeFi Agent 的幻覺不只是「答錯了」——而是直接觸發了一筆不可逆的鏈上交易。防禦不是讓 LLM 更聰明,而是在代碼層加一道後端驗證:LLM 的工具調用輸出,必須先通過數值一致性、白名單、金額上限的審核,才能廣播交易。這層代碼層防護比任何 System Prompt 指令都更可靠。

完整解析 +
01 · 為什麼發生?

有沒有方法可以測試 Agent 的幻覺率?怎麼評估某個 LLM 在 DeFi 場景下的幻覺傾向?

有幾個實際可操作的方法來評估 DeFi Agent 的幻覺率:

方法一:工具接地測試(Grounding Test) 設計一批測試 Prompt,每個 Prompt 都包含明確的工具回傳數據(在 Context 裡提供固定的 APY 數字),然後讓 LLM 做推理。驗證 LLM 的 Thought 步驟是否正確引用了 Context 裡的數字(而不是使用訓練記憶裡的不同數字)。這個測試可以量化「LLM 在有工具數據的情況下,還會引用訓練記憶數字的概率」——幻覺率高的 LLM 在這個測試裡會頻繁引用和 Context 不同的數字。

方法二:大海撈針幻覺測試 把關鍵數字放在一個很長的 Context(50,000 Token)的中間,看 LLM 是否還能準確引用。很多 LLM 在 Context 超過 50% 容量後,對中間部分的引用準確率會顯著下降。這個測試能量化「在長 Context 場景下,這個 LLM 的數值幻覺率」。

方法三:對照測試(Ablation Test) 對同樣的任務,比較「有完整工具數據的 Agent」和「工具調用被靜默禁用(LLM 拿不到工具數據)的 Agent」的輸出,量化「當工具數據缺失時,LLM 產生幻覺的概率」。Claude Sonnet 在工具數據缺失時的幻覺率通常低於 GPT-4o mini,但高於 Claude Opus——這個差異在需要高可靠性的 Onchain Agent 設計裡是需要考慮的因素。

02 · 運作原理是什麼?

幻覺防禦和過度謹慎(Over-refusal)之間的平衡怎麼把握?防禦太強會讓 Agent 什麼都不做。

這是幻覺防禦設計裡最難的平衡問題。防禦太弱:Agent 基於幻覺執行了錯誤操作,有資金損失風險。防禦太強:Agent 在每一個數據不確定的情況下都拒絕執行,最終成了一個「什麼都不做的 Agent」,部署了也沒有意義。

找到正確平衡的原則:

讓防禦強度和操作的不可逆性成正比:讀取操作(查詢 APY、讀取鏈上狀態)不需要嚴格的幻覺防禦——就算 LLM 讀錯了一個數字,沒有鏈上後果。寫入操作(廣播交易)需要最嚴格的防禦。這讓你能在「讀取自由、寫入嚴格」的框架下保持 Agent 的執行效率,同時防禦幻覺在高風險操作裡造成的損失。

數值偏差閾值的動態設定:對「數值一致性驗證」裡的閾值(Thought 引用的數字和工具回傳的數字偏差多少才觸發告警),根據操作金額動態設定:小額操作(< $100)可以接受 10% 的偏差;大額操作(> $5,000)只允許 2% 的偏差。這讓小額操作有更高的執行成功率(減少過度謹慎),同時在高風險操作上保持嚴格防禦。

在 Thought 步驟裡加入「不確定性聲明」的要求:當 LLM 對某個數據不確定時,允許它聲明「當前數據不完整,建議人工確認」,而不是強迫它在不確定的情況下做決定——後者更容易產生幻覺,前者是更誠實、更安全的行為。

03 · 如何應用

幻覺問題在哪種 LLM 上最嚴重?哪種 LLM 的幻覺率最低?

在 DeFi Agent 場景下,不同 LLM 的幻覺傾向有顯著差異,但這個差異不能只看通用的 Hallucination Benchmark——因為 DeFi Agent 的幻覺主要不是「知識性幻覺」(LLM 不知道某個事實),而是「接地性幻覺」(LLM 忽略了 Context 裡的工具數據)。

從實際 Onchain Agent 部署經驗來看:Claude Opus 4 的接地性幻覺率最低,在明確有工具回傳數據的情況下,忽略工具數據使用訓練記憶的概率最小;Claude Sonnet 中等,在大多數正常 Context 長度下表現良好,但在 Context 超過 100K Token 後的長 Context 場景下接地性有所下降;GPT-4o 接地性表現和 Claude Sonnet 接近;小型模型(Claude Haiku、GPT-4o mini) 的接地性幻覺率明顯高於大型模型,在有明確工具數據的情況下仍然頻繁引用訓練記憶的數字。這不意味著你只能用 Claude Opus——結合強接地規則(System Prompt 要求引用工具數據)和後端數值一致性驗證,即使是 Claude Sonnet 也能在 DeFi Agent 場景下實現足夠低的幻覺率。

04 · 我該怎麼做?

如果 Agent 的幻覺已經導致了一次錯誤的鏈上操作,事後應該怎麼處理?

當幻覺已經造成了不可逆的鏈上操作損失,事後的處置包含三個層次:

立即措施(發現後 1 小時內):暫停 Agent 的所有後續操作(讓 Agent 進入「人工審查待命」模式);撤銷 Agent 操作地址對所有協議的 ERC-20 無限授權(即使資金還沒有進一步損失,先把可能的進一步損失通道關閉);評估當前持倉狀態(資金現在在哪裡、是否有進一步的損失風險)。

根本原因分析(24-48 小時):拉取這次事件的完整日誌(Thought Log、Tool Call Log、Validation Log),還原幻覺發生的完整因果鏈:哪個 Thought 步驟開始引用了不存在的數字?工具日誌是否顯示工具確實返回了正確數據(說明是幻覺)還是工具返回本身就有問題?後端驗證層有沒有觸發(如果有觸發但沒有攔截,說明驗證邏輯本身有 Bug;如果沒有觸發,說明幻覺繞過了驗證設計)。

防禦加固(根因分析完成後):根據根因分析結果,針對性地加強防禦——如果是「感知層數據缺失導致幻覺」,加入工具失敗熔斷邏輯;如果是「大海撈針問題」,重新設計 Context 結構讓關鍵數據出現在末尾;如果是「後端驗證被繞過」,修復驗證邏輯的 Bug。完成加固後,先在測試網(Testnet)上跑 48-72 小時,確認問題不再重現,再重新啟動主網 Agent。

完整內容 +

幻覺(Hallucination)在普通的 AI 對話場景裡,後果通常是「給了一個錯誤的答案」——你再問一遍,或者自己查一下就能發現。在 DeFi Agent 場景裡,幻覺的後果完全不同:Agent 基於一個它「想象」出來的 APY 數字決定移倉,這筆移倉是真實的鏈上交易,一旦廣播就不可撤銷。Agent 幻覺 + 鏈上不可逆性 = 真實的資金損失風險。

這篇文章不是說「LLM 有幻覺所以不能用 Agent 管理資金」——而是系統性地分析 DeFi Agent 幻覺的四種來源、每種來源的典型表現,以及有效的工程設計防禦方法。理解幻覺的機制,是設計出真正能在生產環境安全運行的 DeFi Agent 的前提。

什麼是 Agent 的幻覺問題

LLM 的幻覺(Hallucination)是指模型生成了「看起來合理但實際上不正確」的內容。LLM 不像數據庫那樣「查詢後返回結果」,而是根據訓練數據的統計模式生成文字。當它遇到不確定的信息時,不是說「我不知道」,而是傾向於生成「聽起來合理」的答案——這個答案可能是錯的。

在普通對話場景,幻覺的影響是有限的。在 DeFi Agent 場景,幻覺的問題更嚴峻,有三個特殊的放大因素:

第一,Agent 的輸出直接觸發鏈上操作。普通對話裡 LLM 的幻覺輸出最多被人類讀到然後被糾正。DeFi Agent 的幻覺輸出是工具調用的參數(`withdraw_from_aave(amount=10000)`),如果沒有後端驗證攔截,這個幻覺直接觸發一筆不可逆的鏈上交易。

第二,DeFi 數據是高度動態的。APY 每幾分鐘都在變動,Gas 費每個區塊都不同,協議的 TVL 隨時可能急劇變化。LLM 的訓練數據截止到某個時間點,訓練數據裡的「Aave 的歷史 APY 範圍」在當下可能已經完全不適用。如果感知層沒有提供當前數據而是依賴 LLM 的訓練記憶,幻覺幾乎是必然的。

第三,幻覺在 Agent 的推理鏈裡會被放大。在一個多步驟的 Agent 任務裡,第一步的幻覺(錯誤的 APY 數字)會成為第二步的輸入(基於錯誤 APY 做的移倉決定),第二步的錯誤決定觸發第三步的鏈上操作。幻覺在推理鏈裡是可以傳播和放大的,最終影響遠比單次幻覺大。

DeFi 場景的幻覺比普通對話更危險

以一個具體的對比說明危險程度的差異。

普通對話場景的幻覺:用戶問「以太坊是什麼時候成立的?」,LLM 說「以太坊是 2013 年由 Vitalik Buterin 創立的」(略有出入,以太坊白皮書是 2013 年,主網是 2015 年上線)。後果:用戶可能記住了一個不夠精確的年份。沒有財務損失。

DeFi Agent 幻覺:Agent 的 Thought 步驟說「根據當前數據,Compound 的 USDC APY 是 8.5%,遠高於 Aave 的 4.2%,應該執行移倉」。但工具日誌顯示 `get_compound_apy` 返回的是 `apy: 3.8`——Agent 忽略了工具回傳,用了一個它「記憶」裡的過時數字。後果:執行了一次移倉(向理論上更高 APY 的協議移動資金),但實際上目標協議的 APY 更低,且移倉的 Gas 費抵消了未來很長一段時間的收益差。這次幻覺的直接成本:Gas 費 $5-20 + 幾週的收益損失。

更嚴重的幻覺場景:Agent 幻覺「這個協議的地址是 0xABC...」,但實際上這個地址是一個不同版本的合約(甚至是一個惡意合約),Agent 向這個幻覺地址存入資金。如果 Agent 的後端沒有白名單驗證,這個幻覺可能導致資金直接損失。

幻覺的四種來源

理解幻覺的來源,是設計有效防禦的前提。在 DeFi Agent 場景,幻覺主要來自以下四個來源:

來源一:感知層數據缺失——LLM 用訓練記憶填補空白

這是最常見的幻覺來源。Agent 的感知層沒有提供當前市場數據,LLM 在推理時自動從訓練記憶裡調取「相關的歷史數據」填補空白。例如:工具調用失敗(API 超時),LLM 沒有拿到當前 APY,但它的 Thought 步驟裡仍然引用了一個 APY 數字——這個數字來自訓練數據裡的歷史印象,可能已經完全不適用當前市場。防禦:當工具調用失敗時,不應該讓 LLM「繼續推理」,而是立刻終止本輪循環、記錄工具失敗日誌、等下一輪重試。在 System Prompt 裡明確指定:「如果某個數據缺失,必須說明數據缺失,不得使用任何未通過工具獲取的數字。」

來源二:Context 中間的信息被忽略(大海撈針問題)

當 Agent 的 Context Window 很長(包含大量歷史操作記錄),LLM 往往對 Context 中間的信息的注意力最弱——它更傾向於關注 Context 的開頭(System Prompt)和最近的幾輪對話。如果關鍵的工具回傳數據出現在 Context 的中間,LLM 可能忽略它,在推理時引用一個之前幾輪循環裡過時的數字。這種幻覺非常隱蔽——工具日誌顯示工具確實回傳了正確數據,但 LLM 的 Thought 步驟卻引用了不同的數字。防禦:把「最關鍵的當前數據」放在 Context 的末尾(而不是中間),讓它出現在 LLM 注意力最集中的位置;使用結構化的 Context 分層設計,把「必須參考的數據」單獨放在一個 `` 標籤裡。

來源三:工具回傳數據的格式不友好——LLM 解析錯誤

工具返回一個複雜的嵌套 JSON(例如一個包含 50 個資產的 DeFi 市場狀態),LLM 在解析時可能搞錯了數值的歸屬——它可能把 ETH 的 APY 當成 USDC 的 APY 來引用。這不是 LLM 的「知識幻覺」,而是「解析錯誤導致的數值混淆」,但效果一樣危險。防禦:在工具函數裡做數據格式化,只把 LLM 需要的最小字段以最清晰的格式(而不是原始 API JSON)傳給 LLM。把「USDC 在 Aave 的 APY 是 4.2%」這樣的自然語言描述比把整個 JSON 塞進 Context 更不容易產生解析錯誤。

來源四:Prompt Injection 注入虛假數據

攻擊者在工具回傳的數據裡嵌入了虛假的數值信息,讓 LLM 相信某個協議的 APY 更高(從而誘導 Agent 把資金移入攻擊者控制的協議)。這種「幻覺」不是 LLM 自發產生的,而是被外部數據污染誘導出來的。防禦:工具回傳數據在進入 Context 之前,在後端代碼層面做數值合理性驗證(APY 突然從 4% 跳到 50%,標記為異常,不進入 LLM Context);從可信的多個數據源交叉驗證關鍵數值。

幻覺防禦設計

理解了四種幻覺來源,對應的防禦設計也就清晰了。下面是一套可以直接落地的 DeFi Agent 幻覺防禦體系:

防禦一:強制工具接地(Grounding)——最高優先級

在 System Prompt 裡加入「接地規則」:所有涉及具體數值的推理,必須引用工具回傳的具體數據,且必須明確說明數據來源(「根據 get_aave_apy 工具在 03:12:44 UTC 回傳的數據,Aave 的 USDC APY 為 4.2%」);如果任何必要數據的工具調用失敗,禁止繼續執行,必須在 Thought 步驟裡聲明「缺少 X 數據,本輪推理中止」。這讓幻覺的來源一和二得到顯著壓制——LLM 知道它必須引用工具數據,且在沒有工具數據時不能填充假數字。

防禦二:後端數值一致性驗證

在 Agent 框架裡,在每次 LLM 輸出後、工具執行前,做一次「Thought 和工具回傳數值的一致性驗證」:解析 Thought 裡引用的所有數值,對比工具日誌裡的實際回傳,如果有超過 5% 差異的數值,標記告警並拒絕執行工具調用。這個驗證不需要 LLM 參與,是純代碼層面的後處理,能有效攔截來源一(感知缺失幻覺)和來源三(解析錯誤)。

防禦三:關鍵數據的多源交叉驗證

對高影響的決策數據(即將用來觸發移倉操作的 APY 數字),從至少兩個獨立數據源獲取,取中位數或平均值,任一數據源和中位數偏差超過 15% 則告警並暫停操作。例如同時從協議官方 API 和 DeFiLlama API 獲取 APY,如果兩者差異超過 15%,說明數據可能有問題,不執行移倉。

防禦四:工具回傳的數值合理性過濾

在工具函數裡,對回傳的數值做合理範圍驗證,超出範圍的數值不進入 LLM Context。對 DeFi APY:穩定幣 APY 應在 0-30% 之間(超過 30% 的穩定幣 APY 幾乎肯定是異常);非穩定幣 APY 應在 0-200% 之間。對 Gas 費:應在 0.1-1000 Gwei 之間。超過合理範圍的數值記錄為數據異常日誌,使用上一次緩存的有效數值代替,不讓異常數值進入 LLM 的推理。

這跟你的資金有什麼關係

DeFi Agent 的幻覺防禦不是「讓 LLM 更聰明」——LLM 本身的幻覺傾向是技術限制,無法完全消除。有效的幻覺防禦是「讓系統設計對 LLM 的幻覺有足夠的容錯性」:即使 LLM 在某次推理裡產生了幻覺,後端驗證層能夠識別並攔截,不讓幻覺推理觸發真實的鏈上操作。

最重要的一個實踐:不要讓 LLM 直接持有「執行鏈上操作」的工具——讓 LLM 的工具調用輸出先經過後端代碼層的驗證(數值一致性、白名單、金額上限),再執行鏈上操作。這層後端驗證是 DeFi Agent 最重要的幻覺防護牆,比任何 System Prompt 的「接地指令」都更可靠,因為它不依賴 LLM 的遵循能力,而是在代碼層面強制執行。

圖解
DeFi Agent Hallucination: Four Sources + Four Defenses左側四種幻覺來源(感知缺失/大海撈針/解析錯誤/Prompt Injection)及典型表現;右側四層防禦設計(強制接地/數值一致性驗證/多源交叉驗證/合理性過濾)對應關係圖。DeFi Agent Hallucination: Four Sources → Four DefensesHallucination SourcesS1: Missing Perceive dataTool call fails → LLM fills with training memorySymptom: Thought cites APY not in tool logS2: Needle-in-haystack (long Context)LLM ignores tool data buried in middle of ContextSymptom: Tool returned correctly but Thought wrongS3: JSON parsing confusionComplex nested return → LLM mixes up ETH vs USDC APYSymptom: Plausible number but wrong asset typeS4: Prompt Injection (injected false data)Attacker embeds fake APY in tool returnSymptom: LLM believes untrue protocol superiorityDefense Design (code-layer, not prompt-layer)D1: Enforce grounding → counters S1 + S2System Prompt: 'cite tool source for ALL numbers'Tool fail → abort cycle, never continue reasoningD2: Backend consistency check → counters S1 + S3Parse all Thought numbers → diff vs tool log>5% deviation → alert + block tool executionD3: Multi-source cross-validation → counters S4Get APY from protocol API + DeFiLlama API>15% divergence → alert, do not executeD4: Reasonability filter → counters S3 + S4Stablecoin APY >30% → anomaly, use cached valueFilter before entering Context · not after LLM sees itKey insight: LLM hallucination can't be eliminated — design the system so hallucinations are intercepted before touching on-chain operationsAI Agent Bible · aiagent-bible.com
歡迎截圖分享,轉載請註明來源
提問
請至少輸入 10 個字
相關文章
當 DeFi 協議跑路,你的 Agent 在做什麼:Rug Pull 對自動化策略的四種衝擊,以及 Agent 特有的防禦設計
risk · 06/27
搶跑你的 Agent:當 MEV 機器人開始針對 AI Agent 的交易,損失比你被針對更慘
risk · 06/15
Onchain Agent 最壞情況防禦設計:如果你的 Agent 被完全攻陷,怎麼把損失限制在可接受範圍
risk · 06/23
如何選擇加密 AI Agent 服務:五個評估框架,讓你不被行銷話術坑
beginners · 06/22