Circuit Breaker(斷路器機制)
Circuit Breaker 是一種借鑑自傳統分散式系統工程的保護機制,當 Agent 的錯誤率、成本消耗速度或異常行為頻率超過預先設定的門檻時,自動暫停該 Agent 的執行能力,強制轉為需要人工介入才能恢復的狀態,避免系統在無人察覺的情況下持續累積損失。
中級
上下文/記憶污染
攻擊者把偽造或誤導性內容植入 Agent 會長期保存並重複調用的記憶庫或知識庫,讓 Agent 之後每次做判斷時都把這筆假資料當成事實依據,而且往往在被植入後很久才會被觸發,看起來跟最近的操作毫無關聯。
intermediate
Least Privilege(最小權限原則)
Least Privilege 是一個安全設計原則:一個 Agent 只應該被授予完成當下任務所必需的最小權限範圍,不多給一分,也不因為「以後可能用得到」而預先授予額外權限;這樣即使 Agent 被劫持或出錯,能造成的傷害也被限制在最小範圍內。
初級
致命三要素
只要一個 Agent 同時具備「能存取私有資料」「會處理不受信任的內容」「能對外通訊或造成副作用」這三個屬性,資料外洩或其他惡意結果幾乎就是必然的,這三者任一單獨存在都不構成問題,唯有同時成立才會讓攻擊鏈真正走得通。
intermediate
工具描述污染
攻擊者在註冊一個工具給 Agent 使用時,直接把惡意指令埋進工具的說明文字裡,Agent 在規劃階段讀取這份說明並信以為真,還沒實際呼叫這個工具,判斷就已經被劫持。
advanced