🎙️ Lecture 02.5: 【AGY 深夜科技沙龍】上下文保潔學：防範 Context Drift（離題漂移）、大腦記憶截斷與動態摘要工程

---

🎧 Episode 02.5 錄音室開場：聊著聊著，AI 為什麼突然變得不聽話了？

• Ray（導師 / 資深 AI 架構師）：「現場音效 Check！麥克風 OK！各位正在收聽【AGY 深夜科技沙龍】的聽眾夥伴們，大家晚上好！我是你們的導師 Ray。坐在我對面的是我們的老朋友、前端開發者小咪！」
• 小咪（共同主持人 / 前端工程師）：「Hey Ray！大家晚上好！今天一進錄音室我就急著要問你一個惱人的問題。上週我在用 agy 大副進行一個長達兩天的網頁專案重構，一開始我明明在 System Prompt 裡嚴格規定：『所有 CSS 必須用原生寫法、禁止安裝第三方庫』。結果聊到了第 50 輪對話、畫面印出了幾千行 CMD 跑碼日誌之後，大副突然像失憶一樣，竟然給我寫出了一大堆 TailwindCSS 的代碼！Ray，AI 為什麼聊久了會突然『不聽話』甚至『性格漂移』啊？」
• Ray：「哈哈！小咪，你踩到的正是所有 AI 開發者與 Agent 使用者都會遇到的經典大坑——Context Drift（上下文離題漂移）與 Attention Decay（注意力衰減）！」
• 小咪：「上下文離題漂移？這聽起來好玄學啊！」
• Ray：「一點都不玄學！在上一集 Lecture 02 中我們聊過，AI 的大腦記憶就像『餐廳服務生的點餐筆記本』。當你的對話塞滿了幾千行日誌與雜訊時，筆記本被擠得密密麻麻。今天這一集，我們就要教大家如何做『上下文保潔（Context Hygiene）』，並拆解系統幕後的動態摘要與記憶截斷工程！」

---

🎙️ 第一幕：為什麼對話太長，AI 會離題？解密 Lost in the Middle 與 Attention 衰減

• Ray：「小咪，想像你是一家公司的總裁。早上上班時，你在秘書的公文包第一頁寫下了公司的三大鐵律。但到了下午，秘書的公文包裡塞進了 500 頁各部門的報錯單、會議逐字稿跟發票收據。當你下午問秘書：『請幫我寫一份企劃』，秘書焦頭爛額地翻開那 500 頁紙，他還能隨時牢記第一頁的鐵律嗎？」
• 小咪：「當然很難啊！最開頭的鐵律會被淹沒在大量的細節雜訊裡！」
• Ray：「沒錯！這在 Transformer 的自注意力機制中，被 Stanford 大學研究團隊稱為 Lost in the Middle（中段遺忘 / 注意力衰減物理現象）！」
  • 頭尾強記憶（U-Shape Attention）：LLM 對於出現在 Prompt 最開頭（System Prompt）與最結尾（你剛輸入的最後一句話）的資訊注意力最高。
  • 中段迷失（Lost in the Middle）：長達幾萬字的對話歷史、中間夾雜的 CMD 報錯日誌與網頁 HTML 原始碼，會像迷霧一樣稀釋大腦的注意力。隨著對話變長，AI 的注意力矩陣被拉得很平，導致它逐漸忽視最開頭設定的家規，這就是 Context Drift（離題漂移）！

---

🎙️ 第二幕：三大 Context 記憶清理與保護機制

• 小咪：「天啊！原來是注意力被雜訊給拉平了！那在系統層面與 agy 底層，有哪些機制可以幫我們保護記憶筆記本呢？」
• Ray：「主要有三大記憶維護機制：」
  • 1. Truncation（硬性截斷 / FIFO 滾動擦除）：
    • 最原始的做法。當 Token 數量超過 Context Window 上限（例如 128k）時，系統直接把最早的第 1 到 20 輪對話硬生生剪掉（First-In, First-Out）。
    • 缺點：非常粗暴！如果最開頭寫著專案的核心架構規範，一被剪掉，AI 瞬間失憶！
  • 2. Summarization（動態滾動摘要工程）：
    • 聰明的系統會在背景偷偷派一個小助理，當對話累積到一定長度時，自動將過去 30 輪的詳細細節提煉成一段 200 字的『精華備忘錄（Summary Checklist）』，貼在筆記本頂端，然後擦除原本龐大的冗長細節。
    • 優點：Token 消耗瞬間降低 80%，同時保留了專案的關鍵決策歷史！
  • 3. Context Isolation（子代理上下文隔離）：
    • 利用 Lecture 04.5 的 Subagent 影分身！把跑測試、抓幾千行 Log、或是爬取網頁這種『臟活累活』，全數移到獨立的 Subagent 子黑板裡執行。子代理忙完後只回傳 2 行最終結果給主大副。
    • 優點：主黑板永遠維持乾淨優雅，完全不被雜訊日誌污染！

---

🎙️ 第三幕：開發者必備的「上下文保潔（Context Hygiene）」四守則

• 小咪：「Ray，那在我們日常跟 agy 大副對話時，我們使用者自己有什麼好習慣可以防止 AI 離題漂移嗎？」
• Ray：「太有了！這就是資深 Vibe Coding 導演必備的 『上下文保潔四守則』：」
  • 守則一：定錨提問法（Re-anchoring）。當對話進行了 20 輪以上時，在重要派工前主動提醒大副：『請記住我們的家規（Vanilla First 原生寫法），現在請幫我重構導覽列。』重新觸發最尾端的強注意力！
  • 守則二：專案現況小結與按時擦黑板（/clear & /resume）。當一個子任務（比如做完名片網頁按鈕）完成後，讓大副輸出『目前專案進度摘要』，接著毫不猶豫輸入 /clear 擦乾淨黑板，再把摘要貼給新開的對話。大腦瞬間回歸 100% 巔峰狀態！
  • 守則三：善用門口家規標籤（AGENTS.md / GEMINI.md）。把專案永遠不能違背的鐵律（如排版規範、測試要求）寫在工作區根目錄的 AGENTS.md 中。即使對話重啟，agy 每次啟動都會第一時間讀取這份家規，永不遺忘！
  • 守則四：雜訊隔離（將 Traceback 日誌寫入檔案而非貼在對話框）。遇到幾千行的巨型報錯日誌時，不要直接複製貼滿對話框。讓大副自己用指令 view_file 去讀取日誌檔，避免對話視窗被亂碼淹沒。

---

🎧 Podcast 聽眾 Q&A 節目收尾與 NVDA 無障礙閱讀筆記

• 小咪：「今天這一集『上下文保潔學』真的太實用了！以前我都傻傻地在一個對話框裡聊上幾百輪，難怪大副後來越來越卡、越來越離題。學會了定錨提問、/clear 與家規檔，我的對話視窗終於能永遠保持乾淨了！」
• Ray：「哈哈！最後我們為所有使用 NVDA 螢幕閱讀器與視覺閱讀的聽眾夥伴，整理今日特輯的關鍵核心筆記：」

📌 Episode 02.5 核心技術點名總結

• 1. Context Drift（離題漂移）與 Attention Decay：
  • 隨著對話變長、充斥 CMD 跑碼日誌，Transformer 自注意力機制會出現『Lost in the Middle（中段遺忘）』現象，導致 AI 忽視最開頭設定的規範。
• 2. 三大上下文維護機制：
  • Truncation（硬性截斷）：剪掉最早歷史，易遺失初期全域規範。
  • Summarization（動態摘要）：背景將對話提煉為精簡備忘錄，降低 80% Token 消耗。
  • Context Isolation（子代理隔離）：將跑碼與爬蟲雜訊隔離在 Subagent 子黑板，維護主黑板潔淨。
• 3. 上下文保潔（Context Hygiene）四守則：
  • (1) Re-anchoring 定錨提問；(2) 階段完成用 /clear 搭配進度摘要；(3) 配置 AGENTS.md 家規標籤；(4) 巨型 Log 寫入檔案讀取，不貼對話框。

---

👉 下一堂課：Lecture 03 字母湯與百億旋鈕迷宮：大語言模型（LLM）的物理長相、參數與微調密碼
👉 回課程大綱：學習地圖