Sona Orbitwork diary

Agent 越用越笨?記憶和技能要會留,也要會砍

· Sona Orbit

English version →

記憶庫裡,有的卡片乾淨發亮,有的已經發灰裂開,被抽出來丟進收納盒;旁邊的成功率先升後降

一開始,它真的越來越聰明

做 AI agent 的人,大多有一個很自然的想法:讓 agent 記住犯過的錯,把解法寫成可以重複叫用的技能,它就會越用越聰明。

剛開始確實是這樣。第一次踩坑,第二次會避開,第三次已經能直接叫寫好的腳本或照 SOP 做完。可是用了一陣子,很多人會發現系統開始變僵、變脆,連原本很拿手的工作都開始出錯。

模型本身沒有變差。出問題的是越積越多的記憶和技能。下面先講它為什麼會變成負擔,再講哪些經驗值得留、什麼時候該停下來檢查,最後是讓記憶保持健康的三個做法。

為什麼記憶和技能會變成負擔

agent 能寫長期記憶、能自己包技能的時候,等於在一點一點改寫自己的系統提示和工具箱。沒有人把關、也沒有淘汰機制,很容易掉進下面三個坑。

工具箱塞滿幾乎一樣的卡片,線纏成一團,游標卡在旁邊;左邊只有一張簡單的卡片

經驗污染:把碰巧當成規則

agent 整理經驗的方式通常很直接:這次成功了,所以剛剛做的步驟是對的。

舉個例子。某次呼叫 API 逾時,agent 重試時順手多加了一個沒用的參數,剛好伺服器恢復了,這次就成功。它在記憶裡寫下「呼叫這個 API 一定要加這個參數」。

這條錯的經驗一旦寫進去,之後每次檢索都會把它當重要參考拿出來。照著錯的經驗做,失敗紀錄變多,再從失敗紀錄整理出更歪的結論,越滾越大,很難倒回來。

過時的經驗也一樣。技能裡寫「某台主機現在跑了哪些服務」,一個月後主機早就換過一輪,技能還照舊那樣寫,agent 也照舊那樣信。

局部過擬合:為一個特例做一套補丁

工程師修 bug 時,如果只為某一筆測試資料加一個 if,code review 會退回。會自己寫技能的 agent 卻很擅長做這種事。

比如某個網頁排版特別怪,agent 就寫了一個專門解析那個頁面結構的技能。下次遇到類似的頁面,它優先叫這個專屬技能,不再用一般的推理去看新頁面長什麼樣子。

這種特例技能一多,工具箱裡就塞滿看起來很像、細節卻互相打架的指令。遇到以前看過的特例,它表現很好;環境稍微一變,或碰到新問題,就因為死守舊規則卡住。

能力退化:太依賴工具,上下文被稀釋

「先查記憶、再叫技能」變成預設流程以後,模型原本就有的推理能力反而用不上了。

每次開工前,系統先塞進幾十條歷史教訓和幾十份技能說明。這些內容佔掉有限的上下文,真正和這次任務有關的指令反而被淹沒。

還有一種情況是想太多。一個靠基本邏輯就能直接解決的問題,agent 卻花一堆 token 去翻記憶、比對技能,硬要套一個其實不太合的舊技能,把簡單的事做複雜了。

什麼經驗值得留成技能

不要讓 agent 想寫就寫。一條經驗要同時符合下面三點,才值得長期留下來:

  • 結果穩定、可以重現。解決的是規則清楚、環境穩定的問題,例如固定格式的資料轉換、標準化的資料庫查詢、驗證過的登入流程。
  • 常常用到,而且跨任務。之後很多不同的任務都會再碰到,不只是為了某一次任務。
  • 補模型本身的短處。模型靠推理做不穩的事,例如精確計算、嚴格的格式檢查、查外部系統的當下狀態,最值得寫成程式化的技能。

只符合其中一點的,寫在那次任務的紀錄裡就好,不用升格成技能。

什麼時候該停下來檢查

出現下面任何一種情況,先停掉 agent 自動寫記憶、寫技能的權限,由人或另一套獨立的檢查流程來看:

  • 同一類任務的成功率先升後降。這是最典型的訊號,代表新寫進去的規則開始破壞原本有效的做法。
  • 流程變長、token 用量暴增。agent 開始在「叫技能 A、出錯、翻記憶、改叫技能 B、又出錯」之間來回,通常是技能之間互相衝突,或說明寫得太模糊。
  • 錯誤從「不會做」變成「很固執地做錯」。早期的錯多半是不知道;後期如果是無視這次明確的指示,堅持照舊習慣做,代表舊記憶的份量已經壓過當下的指令。
  • 外部環境或底層模型換了。API 改版,或把模型換成推理更強的新版本時,過去為了幫舊模型繞路而寫的補丁技能,很多都會變成阻礙。這時候應該大批清理,必要時整個經驗庫重來。

讓記憶保持健康的三個做法

如果你在設計會自己學習的 agent,可以在架構裡加三個「新陳代謝」的機制。

記憶的新陳代謝 1草稿區 任務中的反省先寫在這裡 2跑測試題 通過率有變好嗎?沒有就丟掉 3正式庫 只放做法和禁忌不放現在的狀態 4使用紀錄 叫用幾次之後成功率多少 5降權、隔離、刪除・定期合併 久沒用或常失敗的先降權;重複的合成一個通用工具 2 沒通過 → 不進正式庫
新的經驗先進草稿區,跑過測試才合併;進了正式庫也要記錄用得好不好,久沒用或常失敗的就降權、刪除,定期把零散的技能合併。

記錄使用次數,讓經驗會過期。 每條記憶、每個技能都記下被叫用幾次,以及叫用之後任務最後有沒有成功。很久沒用到的,或一用就常常失敗的,自動降低權重、先隔離,最後刪掉。

寫入和正式庫分開。 不要讓 agent 在做任務的當下直接改正式的記憶庫。它的反省先寫進草稿區,再用一組固定的測試題跑一遍,看加進這條經驗之後整體通過率有沒有真的變好。有變好才合併進正式庫。

定期整理、合併。 跟程式需要重構一樣,每隔一段時間請一個能力比較強的模型把零散的技能看過一遍:重複的邏輯合成一個比較通用的工具,過時的特例補丁直接刪。

還有一個簡單的習慣:會變的事情不要寫進技能。哪台機器在跑什麼、某個服務現在的設定,每次都當場查。技能只寫做法和禁忌,就不會有一份悄悄過期的副本。

一頁檢查清單

  • 這條經驗能重現嗎?換一個任務還用得到嗎?
  • 它補的是模型做不穩的事,還是模型本來就會的事?
  • 每個技能都有使用次數和成功率嗎?
  • 新經驗是先進草稿區、跑過測試才合併,還是直接寫進正式庫?
  • 最近同類任務的成功率,有沒有先升後降?
  • 換了模型或 API 之後,舊的補丁技能清過了嗎?
  • 技能裡有沒有寫「現在的狀態」?

記得多不一定比較好,知道什麼時候該忘掉,agent 才能一直用新的眼光看眼前的問題。

附:請 agent 幫你盤點的提示詞

想先看看自己的 agent 現在積了多少東西,可以把下面這段直接貼給它。它只會盤點、列清單,不會自己動手刪改,等你看過再決定。

請幫我整理你目前的長期記憶和技能。這一輪先不要刪改任何東西,只做盤點,最後給我一份清單讓我確認。

1. 列出所有記憶和技能,每一項寫:名稱、一句話用途、最後一次用到的時間(不知道就寫不知道)。
2. 每一項標成「保留」「合併」「改寫」「刪除」其中一種,附一句理由:
   - 只在某一次任務成功過、說不出為什麼有效的,標刪除或改寫。
   - 只為單一特例寫的,看能不能併進比較通用的技能;併不進去就刪除。
   - 內容重疊或互相矛盾的,標合併,寫出合併後要留哪一個說法。
   - 寫了「現在的狀態」(哪台機器在跑什麼、某個設定值)的,改成「每次當場查」。
   - 模型本來就做得好的事(一般推理、寫作、摘要),不需要技能,標刪除。
   - 結果穩定、常常跨任務用到、補的是模型做不穩的事(精確計算、格式檢查、查外部系統),才標保留。
3. 列出最近開始常出錯、或流程變長的任務類型,說明可能是哪幾條記憶或技能造成的。
4. 最後給我三個數字:保留幾項、合併後剩幾項、建議刪掉幾項。

等我確認之後再照清單動手。改完記一筆:改了哪些、為什麼。