🎙️ Lecture 03: 【AGY 深夜科技沙龍】百億旋鈕迷宮與字母彩豆切分：解密 Token、參數量化與 strawberry 字母盲區

---

🎧 Episode 03 錄音室開場：歡迎來到大語言模型（LLM）的神經解剖現場！

• Ray（導師 / 資深 AI 架構師）：「現場音效 Check！麥克風 OK！各位正在收聽【AGY 深夜科技沙龍】的聽眾夥伴們，大家晚上好！我是你們的導師 Ray。坐在我對面的是我們的老朋友、前端開發者小咪！」
• 小咪（共同主持人 / 前端工程師）：「Hey Ray！大家晚上好！今天一進錄音室我就看到桌上堆滿了各種彩色的字母軟糖跟大大小小的旋鈕模型，Ray 你今天是打算在節目裡做理化實驗嗎？」
• Ray：「哈哈，沒錯！今天我們要拿起神經解剖學的手術刀，直接剖開大語言模型（LLM）的大腦硬體與底層結構！我們要帶所有收聽 Podcast 的聽眾夥伴，一起轉動那上百億個神秘的『數學旋鈕』，並親眼看看電腦是怎麼被『字母彩豆』給搞糊塗的！」
• 小咪：「聽起來超熱血！但 Ray，我們頻道裡有非常多完全沒寫過程式碼、甚至看到數學公式就頭暈的聽眾朋友。在動手術之前，你有沒有什麼簡單的心智模型可以先給我們墊墊胃？」
• Ray：「沒問題！請大家跟著小咪一起閉上眼睛，想像你面前擺著一鍋巨大的『字母彩豆湯』。湯鍋裡漂浮著成千上萬個英文字母、中文詞彙與標點符號。AI 的任務非常單純：每一次用湯匙撈起一顆彩豆時，它要根據剛才撈上來的文字，猜出下一個浮出水面的彩豆最可能是什麼。大語言模型說穿了，就是一個吞噬了全世界圖書館資料後，把『文字接龍』與『機率預測』玩到極致的超級數學魔術師！」

---

🎙️ 第一幕：實境翻車現場！為什麼頂級 AI 算不對「strawberry」有幾個字母 r？

• 小咪：「等一下 Ray！提到猜字魔術，我昨天在社群上看到一個超紅的翻車迷因。有人問最強的 GPT-4o 或 Claude：『請問 strawberry 這個單字裡有幾個英文字母 r？』結果頂級 AI 居然非常有自信地回答：『這太簡單了，裡面有 2 個 r！』阿明明就是 3 個（strawberry）啊！連微積分跟量子力學都會寫的 AI，怎麼會連國小生的數數都數錯？」
• Ray：「這就是我們今天第一個要揭密的核心技術概念——文字積木與彩豆切分盲區（Tokenization Blindspot）！」
• 小咪：「文字積木？難道 AI 看文章跟我們人類眼睛看到的不一樣嗎？」
• Ray：「完全不同！人類眼睛看 strawberry，是一串連續的英文字母：s-t-r-a-w-b-e-r-r-y，我們的視覺皮質會自動一個字元一個字元去掃描。但當這串字進入 AI 大腦前，會先經過一道叫做『分詞器（Tokenizer）』的文字裁切機！」
• 小咪：「分詞器？就像是把長條吐司切成一片片吐司切片那樣嗎？」
• Ray：「沒錯！分詞器會使用像是 Byte-Pair Encoding (BPE) 這類的算法，把文字切成最小的語意單元，我們稱之為 Token（文字彩豆 / 文字積木）。在分詞器的快刀之下，strawberry 會被瞬間切成兩塊彩豆積木：["straw", "berry"]！」
• 小咪：「哇！所以傳進 AI 大腦裡的不是 10 個英文字母，而是兩個整體的數字代碼？」
• Ray：「一點也沒錯！在 AI 大腦的數字字典裡，"straw" 可能對應到 Token ID 39201，而 "berry" 對應到 Token ID 48102。AI 的神經網絡接收到的輸入就只有 [39201, 48102] 這兩個數字！這就像你遞給一個還不認識字母的小朋友兩塊木製積木：一塊叫『草』，一塊叫『莓』。然後你問他：『請問這兩塊積木內部印了幾個小字母 r？』小朋友根本看不見積木內部的微小塗料，他只能憑藉著記憶裡讀過幾億本書的機率聯想去猜。在他的統計記憶中，berry 這個音節常常跟 double r（兩個 r）產生超高關聯，於是他就脫口而出『2 個』！」
• 小咪：「天啊！原來 AI 根本就是個『字母盲』！它看得到詞彙積木，卻看不到積木裡面的字母細節！」
• Ray：「沒錯！那小咪，如果你現在非要 AI 數對 strawberry 有幾個 r，在工程上有什麼破解招式？」
• 小咪：「嗯……既然它是被積木遮住了眼睛，那我們能不能強迫它把積木拆開？」
• Ray：「太聰明了！這就是防翻車雙重解法：」
  • 招式一：拼寫拆解（Spelling Out）。在提示詞裡要求它：「請先把 strawberry 用連字號拆成單個字母（s-t-r-a-w-b-e-r-r-y），然後再計算 r 的數量。」當它在黑板上把單字拆成單個字母 Token 後，它的眼睛就能看到單個字元，機率計算就能 100% 數對！
  • 招式二：工具呼叫（Tool Calling / Code Interpreter）。讓大副 agy 在背景跑一段 Python 腳本："strawberry".count("r")。真實電腦的 Python 執行器會老老實實地數出 3，絕對不可能出錯！
• Ray：「而且小咪，這還牽涉到 Tokenizer 的語言偏見（Linguistic Bias）與 UTF-8 位元組懲罰 喔！」
• 小咪：「語言偏見？這跟 Token 也有關係？」
• Ray：「因為 AI 發展初期多數訓練數據都是英文，英文單字 apple 通常只佔用 1 個 Token。但是在早期分詞器（如 GPT-2/3）的字典裡，中文沒有足夠的獨立 Token 槽位，一個中文字『蘋』會被拆解成 3 個 UTF-8 位元組（Byte Fallback）！這代表什麼？同樣一段意思，用中文發送給 AI，消耗的 Token 數量可能是英文的 2 到 4 倍！ 這是我們華語開發者在算 API 燃料費用與 Context Window 空間時必須掌握的隱形成本！」
• 小咪：「還好現在像 Tiktoken 或 Llama 3 擴充到了 128k 大字典，中文 Token 的懲罰才減輕了好多！Ray，聽你講到這裡，我突然聯想到動漫裡的場景了！」
• Ray：「哦？是什麼動漫？」
• 小咪：「《獵人》酷拉皮卡與暗黑大陸的比喻！」
• Ray：「哈哈！太貼切了！在機器學習的世界中，『分類問題』（Classification，如垃圾郵件偵測、貓狗識別）因為有有限的選項可供選擇，屬於人類已經完全征服的主大陸；而『生成式 AI』（需要產生複雜、有結構且無法窮舉的物件）則是充滿未知與挑戰的『暗黑大陸』。2019 年時，我們覺得暗黑大陸還很遙遠，就像酷拉皮卡不知道何年何月才能登陸一樣；但到了今天，透過 Token 化與自迴歸模型，我們已經見到了暗黑大陸的守門人（大語言模型）！」

---

• 小咪：「Ray，提到算 Token 燃料費用，我常看 API 計費單上有 Input Token 跟 Output Token 兩種價格，而且 Output Token 居然比 Input Token 貴上 3 到 4 倍！為什麼讀資料跟吐資料價格差這麼多啊？」
• Ray：「這完全是由神經網絡的物理計算特性決定的！」
  • Input Token（閱讀文字 / 矩陣並行預行算）：當你傳送 1 萬字的文檔給 AI 時，Transformer 可以將這 1 萬字打包成大型矩陣，利用 GPU 的幾千個 CUDA 核心『一次性平行並行運算（Parallel Prefill）』，算力效率極高，所以便宜！
  • Output Token（吐出文字 / 自迴歸單步吐字）：當 AI 正式回答你時，它必須遵循自迴歸物理限制——吐出第 1 個字，才能算第 2 個字；吐出第 2 個字，才能算第 3 個字！GPU 無法平行並行，必須連續進行上千次的單步矩陣乘法，極度消耗顯存頻寬與時間，因此價格貴 3~4 倍！
• 小咪：「原來如此！那 Ray，聽說現在各大 API 廠商有推出一種叫做 Context Caching（快取命中折扣） 的省錢黑科技，那是怎麼運作的？」
• Ray：「這就是聰明工程師省錢的終極密碼！當你把一份固定不變的專案規範（如 AGENTS.md 或幾萬字的法規文檔）寫在 Prompt 前端時，雲端伺服器會將這段固定文檔的神經網絡鍵值快取（KV Cache）保留在顯存中。下次你再提問時，伺服器直接命中快取（Cache Hit），輸入 Token 費用高達 75% 到 90% 的折扣！」
• 小咪：「太爽了吧！直接打一折！那我們要怎麼寫 Prompt 才能享受到這個折扣？」
• Ray：「『前固後變（Static-First, Variable-Last）』陣型！把永遠不變的背景資料、規則說明與代碼庫放在 Prompt 最頂端（引發 Cache Hit）；把每次提問變動的具體問題放在最末端！這樣既省大錢，又大幅提升回答速度！」

---

🎙️ 第二幕：拆解百億旋鈕迷宮！$y = \sigma(wx + b)$、梯度下降與參數量化（Quantization）

• 小咪：「剛才聊完 Token 積木，現在我要來轉動桌上這些旋鈕了！Ray，大家常聽到的『70 億參數（7B）』、『4050 億參數（405B）』到底是什麼概念？參數到底在模型裡面做什麼？」
• Ray：「我們回到國中數學課本的基礎公式：$y = ax + b$。這裡的 $a$ 與 $b$，就是模型的『參數』。國中是我們人用筆算，而機器學習是靠電腦自動把上百億個未知數給算出來。」
• 小咪：「聽起來還是有點抽象，能不能用生活的例子比喻一下？」
• Ray：「沒問題！想像你手裡拿著一箱蘋果，你想要估算這箱蘋果的總重量：箱子總重量 y = \sigma(蘋果顆數 x * 每顆蘋果平均重量 w + 鐵箱本身的重量 b)。」
  • 權重 Weights（$w$）：相當於「每顆蘋果的平均重量」，代表輸入資料對結果的影響比重。
  • 偏差 Biases（$b$）：相當於「鐵箱本身的重量」，代表系統的基礎基準偏移。
  • 特徵輸入 Input（$x$）：相當於傳進來的「蘋果顆數」。
  • 激活函數 Activation Function（$\sigma$，如 ReLU, SwiGLU）：如果只有 $wx+b$，這只是直線；非線性激活函數就像是『折紙彈簧』，把直線折成複雜的曲面，讓神經網絡能學會世界上極度複雜的邏輯轉折！
  • 預測輸出 Output（$y$）：算出來的「箱子總重量」。
• Ray：「一開始你完全不知道 $w$ 和 $b$ 是多少，你只能先隨便猜兩個數字。接著你把箱子放到秤上比對真實重量，計算誤差 Loss。在濃霧深山中，電腦沿著最陡峭的斜率往下走（梯度下降 Gradient Descent），反向調整數值（反向傳播 Backpropagation）。這種『猜測 ➔ 比對事實 ➔ 計算誤差 ➔ 反向調整數值 ➔ 再猜測』的反覆過程，就是模型訓練！而一個 70 億參數（7B）的模型，代表裡面有 70 億個像這樣互相牽連的微小旋鈕在同時微調！」
• 小咪：「70 億個！難怪需要超大顯卡！Ray，我聽說一個 7B 的模型如果用原始精度（FP16，16 位元浮點數）儲存，檔案大小高達 14 GB，一般筆電根本跑不動。但為什麼現在大家可以在輕薄筆電甚至手機上跑 Llama 3 8B 呢？」
• Ray：「這就必須提到大模型的黑科技——參數量化技術（Quantization）！」
• 小咪：「量化？這是在幫模型減肥嗎？」
• Ray：「完全正確！我們可以把量化比喻成『把無損 4K 藍光電影，壓縮成 1080p 的 MP4 影片』。」
  • 原始 FP32 / FP16 高精度：每個參數用 32 或 16 個位元記到小數點後好幾位，精確度極高，但極度吃記憶體（7B 需要 14 GB ~ 28 GB VRAM）。
  • 量化 INT8 / INT4 低精度：把高精度的浮點數，四捨五入壓縮成 8 位元或 4 位元的整數（INT4 / GGUF 格式）。
• Ray：「雖然量化後模型在機率計算上會損失微不可察的精度（就像 MP4 電影少了一點極細微的畫質，但肉眼根本看不出來），但模型需要的顯存空間直接『暴瘦四分之三』！原本需要 16GB 顯存的 8B 模型，量化成 INT4 (Q4_K_M) 後只需要不到 4GB 的記憶體就能在 Ollama 本地端飛速運作！這就是本地端 AI 能普及的關鍵！」
• 小咪：「太扯了！直接瘦身 75%！那 Ray，模型大腦裡只有數字，它是怎麼決定講話是嚴謹還是活潑的？」

---

🎙️ 第三幕：大腦脾氣調教器（Temperature, Top-K, Top-P）與神奇的湧現能力

• Ray：「這就得介紹模型大腦的抽樣控制面板：溫度（Temperature）、Top-K 與 Top-P！」
• 小咪：「溫度？AI 大腦也會發燒嗎？」
• Ray：「哈哈，這裡的溫度是指機率分配的『興奮劑』！模型算完後，每個字都有一個原始分數 Logits。經過 Softmax 公式 $P(w_i) = \frac{\exp(z_i / T)}{\sum \exp(z_j / T)}$ 轉換為機率。想像一個摩天大樓高的巨型彈珠機：」
  • 低溫度（Temperature = 0.0 ~ 0.2）：大腦處於冷靜狀態。除以小數字 $T$ 讓機率分佈極度陡峭，鋼珠永遠只會落入機率最高、最深的那個字槽。回答 100% 確定、嚴謹、零偏差，非常適合寫程式碼與數學推理。
  • 高溫度（Temperature = 0.8 ~ 1.2）：大腦處於興奮狂想狀態。除以大數字 $T$ 把機率滑道拉平，機率較低的字詞也有機會被抽中。AI 會變得很活潑、有創意，但也很容易開始瞎編胡說。
  • Top-K 與 Top-P（機率過濾網）：Top-K 限制鋼珠只能在機率最高的前 K 個候選池滾動；Top-P（Nucleus Sampling） 則設定累積機率達 P（例如 90%）的最小候選集合，徹底杜絕 AI 突然吐出火星文的窘境。
  • Repetition Penalty（重複懲罰項）：如果某個 Token 剛剛出現過，懲罰項會瞬間降低它的重選機率，防止 AI 陷入無窮迴圈『鬼打牆』重複講同一句話！
• 小咪：「原來如此！難怪寫 Code 要把 Temperature 調成 0！那 Ray，我一直好奇一個神秘問題：為什麼 1 億參數的小模型笨得像木頭，連基本的文法都會搞錯；但參數一旦增加到 100 億（10B）臨界點時，模型會突然『無預警』學會原本沒教它的數學推理跟寫程式？」
• Ray：「這在 AI 學界被稱為『湧現能力（Emergent Abilities）』與 Scaling Laws（擴展定律）！大模型的智力發展並非平滑的直線。當數據量、算力與參數規模突破某個神秘臨界點時，模型會發生相變，就像水突然結成冰一樣，爆發出高階的智慧推理！這至今依然是 AI 科學界最迷人的未解之謎之一！」

---

🎙️ 第四幕：腦部微調手術！預訓練 vs 指令微調 (SFT) vs DPO/RLHF vs LoRA 旁路外掛

• 小咪：「Ray，如果我們想讓通用的大模型變成特定領域的專家（比如醫療大副或法務大副），我們該怎麼訓練它？這跟我們平常在對話框裡提示它有什麼不一樣？」
• Ray：「這就牽涉到模型訓練的三個階段：預訓練（Pre-training）、指令微調（SFT）、偏好對齊（DPO/RLHF） 與 LoRA 旁路技術！」
• 小咪：「快用你的神奇生活比喻向大家解釋一下！」
• Ray：「沒問題！我們用『學校教育與廚藝培訓』來比喻：」
  • 預訓練（Pre-training / 義務教育）：送一個孩子去讀小學、國中到高中。他在網際網路讀完了上萬億個 Token，吸收了天文地理。這時他是一個博學的『通才大腦』，但他還不懂怎麼寫商業報告，也不懂得客服禮貌。
  • 指令微調（SFT / 藍帶廚藝速成班）：高中畢業後，送他去參加一個月的藍帶廚藝速成班，給他幾萬份高品質的『問題-回答對（Prompt-Response Pairs）』。他不需要重新學認字，只需要專注學習客服對答與格式規範。
  • 偏好對齊（RLHF / DPO 人類偏好手術）：透過人類反饋強化學習或直接偏好優化，訓練獎勵模型，打磨 AI 的情商與安全防線（避免魔族少女臨死喊媽媽的討好陷阱）。
  • LoRA（低秩適應 Low-Rank Adaptation / 鋼琴弱音踏板）：如果每次微調都要重新調整 70 億個參數（$W_0$），需要燒掉幾百張頂級顯卡。科學家發明了 LoRA！這就像鋼琴家演奏時，不需要拆解鋼琴的內部琴弦（凍結大腦 70 億個主參數），只需在旁路外掛兩個低秩矩陣 $A$ 與 $B$（$\Delta W = A \times B$）。演奏時琴音自動呈現優雅古樂感，而鋼琴本體完好無損！搭配 4-bit 量化的 QLoRA，甚至可以在一張消費級顯卡（如 RTX 4090）上完成 70B 大模型的微調！
• 小咪：「那《葬送的芙莉蓮》裡有類似的招式嗎？」
• Ray：「太有了！LoRA 就像芙莉蓮不需要改造體內修練五百年的魔力主迴路（預訓練參數），她只需要在手杖頂端插上一顆『特定屬性的魔導寶石（LoRA 旁路）』。當魔力流過寶石時，會自動被過濾並聚焦成特定屬性的複合魔法，以極低消耗瞬間學會新絕招！」
• 小咪：「那在對話框裡寫 Prompt 跟做微調差別在哪？」
• Ray：「寫 Prompt（Context Window） 只是在黑板上寫臨時筆記，對話一長或按 /clear 黑板就被擦掉了，70 億個旋鈕物理角度毫無改變；而 微調（Fine-tuning / LoRA） 是拿著扳手實實在在改變了參數的數值或外掛矩陣，知識被永久刻進了神經網絡的硬體結構中！」

---

🎧 Podcast 聽眾 Q&A 節目收尾與 NVDA 無障礙閱讀筆記

• 小咪：「今天這一集真的太精彩了！從文字彩豆切分、strawberry 翻車解密，到 70 億旋鈕、Softmax 溫度公式與 LoRA 鋼琴踏板，我感覺我的腦袋也完成了一次大升級！」
• Ray：「哈哈！最後我們為所有使用 NVDA 螢幕閱讀器與視覺閱讀的聽眾夥伴，整理今日特輯的關鍵核心筆記：」

📌 Episode 03 核心技術點名總結

• 1. Token 與分詞器盲區：
  • AI 大腦無法直接看見單個英文字母，文字進入模型前會被分詞器（Tokenizer, BPE）切割成 Token 積木（如 strawberry 被切成 ["straw", "berry"]）。
  • 解決 count 'r' 問題的方法：(1) Spelling Out 拆解拼寫 s-t-r-a-w-b-e-r-r-y；(2) Tool Calling 執行 Python "strawberry".count("r")。
  • 中文 Token 成本與 UTF-8 位元組懲罰（早期 Tokenizer 中文耗用 2 到 4 倍 Token，現代 128k 字典大幅緩解）。
• 2. 參數量化（Quantization）：
  • 將 FP32/FP16（16 位元浮點數）壓縮為 INT8/INT4（4 位元整數 GGUF 格式），大幅降低 VRAM 顯存佔用（從 16GB 瘦身至 4GB），使大模型可在 Ollama 本地端筆電飛速執行。
• 3. 抽樣控制（Temperature / Top-K / Top-P / Repetition Penalty）：
  • Temperature 接近 0.0 時 Softmax 分佈陡峭，回答嚴謹確定，適合程式碼與數學；Temperature > 0.8 時回答活潑極具創意，但容易產生幻覺。Repetition Penalty 防止鬼打牆重複。
• 4. 湧現能力（Emergent Abilities）：
  • 在 Scaling Laws 作用下，模型參數規模突破臨界點（如 10B+）時，會無預警爆發出邏輯推理與寫程式等高階智慧能力。
• 6. Token 算力經濟學與 Context Caching 快取折扣：
  • Output Token 價格為 Input Token 的 3~4 倍（因自迴歸無法矩陣並行）。
  • Context Caching 快取命中可享有高達 75%~90% 輸入折扣；採用『前固後變』Prompt 結構最大化 Cache Hit。

• 5. LoRA 與 QLoRA 輕量微調：

  • 凍結預訓練大腦主參數 $W_0$，僅在旁路插入小規模低秩矩陣 $\Delta W = A \times B$（如同鋼琴弱音踏板或魔導寶石），搭配 QLoRA 能以消費級顯卡達成特定領域專業化。

• 小咪：「太棒了！下一集我們要聊什麼呢 Ray？」

• Ray：「下一集，我們要帶大家走進賭場算命師的連鎖骰子現場！解密 AI 到底是如何靠數學條件機率連鎖律，一字一字吐出一整篇浪漫小說的！」
• 小咪：「聽眾朋友們，我們下一集見！Bye Bye！」

---

👉 下一堂課：Lecture 03.3 賭場算命師連鎖骰子：解密文字生成條件機率與自迴歸演進史
👉 下一堂課：Lecture 03.5 熱血動漫修練：解密 Transformer、QKV 注意力名牌與 FlashAttention
👉 回課程大綱：學習地圖