本地 AI 模型名詞百科
從模型命名、Transformer 架構、量化精算法、KV Cache 到 LM Studio / llama.cpp 硬體調優的圖文全攻略
六大核心主題學習地圖
拆解 Qwen3.8-27B-Q4_K_M.gguf,區分家族、大小、量化與容器格式。
釐清架構 vs 權重 vs 檢查點;破解 MoE 專家模型「A3B 只要 3B 記憶體」的迷思。
FP16 到 Q4_0、K-quants、I-quants 與 bpw 換算,權重如何壓縮而不失智。
GGUF vs safetensors 終極比較,以及 AWQ、GPTQ、EXL2 與 bitsandbytes。
為什麼 16.8GB 模型塞不下 16GB 顯卡?長上下文如何吃光顯存與互動試算。
16GB VRAM + 32GB RAM 下 8B、14B、27B 最佳日常三模型配置與避坑原則。
27B 告訴你模型有多大;Q4_K_M 告訴你以多低的精度儲存;GGUF 告訴你資料裝在哪種容器裡。這三個概念完全獨立!
5 秒拆解模型檔名結構
模型三位一體:架構、權重與檢查點
模型的數學骨架,包含 Transformer 層數、Hidden Size 隱藏維度、Attention Heads、FFN 設計等。純架構代碼僅幾 KB。
訓練後儲存的數十億個浮點數(張量 Tensors)。模型並未死記原文,而是將全世界的語言規律壓縮進這些矩陣中。
某個架構在特定訓練階段儲存下來的完整狀態(權重+設定+Tokenizer)。例如 Base 檔或 SFT 檔。
Dense (稠密) 與 MoE (混合專家) 深度比較
每個 token 在通過每一層時,都會動用模型全部約 27B 的主要權重進行計算。
- 運算路徑:固定且全面,計算量大
- 記憶體要求:儲存 27B 權重 (約 16.8GB GGUF)
- 推論特性:對記憶體頻寬要求高,速度穩定可預測
- 硬體適配:簡單直接,全卡 offload 即可滿速
將 FFN 分成多個子專家(例如 128 個),Router 依 token 特性僅動態挑選 8 個專家計算。
- 運算路徑:稀疏路由 (Active ~3.3B),算力負擔輕
- 記憶體要求:仍需存放全部 30B 權重!
- 推論特性:生成速度可能極快,但顯存占用無法減少
- 硬體適配:對 Expert Offload 與 RAM 頻寬極度敏感
A3B (Active) 決定每 token 計算量與速度;30B (Total) 決定模型檔案大小與 VRAM / RAM 儲存量。MoE 絕對不會只占 3B 顯存!
精度、量化與 bpw (Bits Per Weight)
• FP32 (32-bit): 極大,推論無必要
• BF16 / FP16 (16-bit): 原生訓練標準,1B 參數 ≈ 2GB 空間
• FP8 (8-bit): 新世代 GPU 原生格式
• 將連續浮點數映射到離散區間
• 搭配 Block Scale 與 Offset 近似還原
• PTQ: 訓練後量化 (常見 GGUF)
• QAT: 訓練中感知量化
• Bits Per Weight: 每個參數平均 bit
• Q4_K_M 實際 bpw ≈ 4.89 (非 4.0!)
• 額外空間來自 Block Metadata 與敏感 Tensor 高精度保留
絕不會!27B Q4_K_M 仍然擁有 270 億個神經網路參數,只是每個數字用較短的位元儲存。真正直接刪除神經元、Attention Head 或層數的技術叫做 Pruning (剪枝)。
GGUF 量化等級天梯速查表
| 量化格式 | 平均 bpw | 品質保留傾向 | 適合情境與定位 |
|---|---|---|---|
| Q2_K | ~3.16 | 極高損失風險 | 記憶體極度不足,只求能跑起來 |
| Q3_K_M / L | 4.00 ~ 4.30 | 中度至明顯損失 | 顯存吃緊時的極限壓縮妥協 |
| Q4_K_M | ~4.89 | 黃金平衡點 (低損失) | 大眾首選!兼顧體積、速度與穩定品質 |
| Q5_K_M | ~5.70 | 極低損失 | 顯存充裕,重視邏輯、代碼與繁體中文品質 |
| Q6_K | ~6.56 | 接近無損感知 | 8B / 14B 模型完整塞入 16GB VRAM 的極佳選擇 |
| Q8_0 | ~8.50 | 幾乎等於原始精度 | 驗證基準、小型模型 (如 1.5B ~ 7B) 專用 |
I-quants: 搭配 Importance Matrix (imatrix),在 1~3 bit 極限壓縮下保護重要權重。
GGUF vs safetensors 容器與生態
llama.cpp 生態專用的二進位容器。一體化封裝模型權重、Tokenizer、Chat Template、RoPE 等全部中繼資料 (Metadata)。
✅ 單檔即用:下載單一 .gguf 即可直接對話
✅ 跨平台成熟:完美支援 CPU、CUDA、Metal、Vulkan
✅ 混合卸載:可精確指定多少層進 GPU、多少留在 RAM
🎯 適用場景:LM Studio、Ollama、llama.cpp 本地推論
取代傳統危險 Python pickle 的純權重儲存格式,強調零反序列化安全漏洞與快速讀取。
⚙️ 生態分散:通常需要搭配 config.json、tokenizer 檔案
⚙️ 常用精度:原生 BF16 / FP16 或 AWQ / GPTQ / bitsandbytes
⚙️ 分片 Shards:常被拆成 00001-of-00004.safetensors
🎯 適用場景:Transformers 訓練、LoRA 微調、vLLM 伺服器部署
從 Base、Instruct 到 Uncensored 的演化
LoRA: 凍結基礎模型,只訓練外掛小矩陣 Adapter。
QLoRA: 將 base 模型以 4-bit 載入後再插 LoRA,讓消費級顯卡也能微調!
讓小模型 (Student) 學習大模型 (Teacher) 的輸出與推理鏈。它是重新訓練的獨立模型,不是單純壓縮。
透過移除拒答數據或消融拒答激活方向。這不代表智力提升或事實更準,僅代表降低防禦性拒絕。
Transformer 注意力家族:MHA、MQA 與 GQA
每個 Query Head 都有各自獨立的 Key/Value Head。表現力強,但 KV Cache 體積極大,長上下文容易爆顯存。
所有 Query Heads 全部共用唯獨 1 組 Key/Value Head。KV Cache 縮小到極限,但可能略微犧牲複雜推理能力。
將 Query 分組共用 KV (例如 32 個 Q 配 4 個 KV,即 8:1)。完美平衡了推論品質與 KV Cache 記憶體!
RoPE: 旋轉位置編碼,將前後順序直接旋轉進向量中。
YaRN: 透過修改頻率縮放讓模型硬吃 64K / 128K context,但未經長文本訓練時檢索品質可能劣化。
非標準 Transformer 架構,以狀態轉移更新序列,長上下文計算量呈現線性成長。需要專屬 runtime 支援。
Tokenization 與 Chat Template 的致命陷阱
• 模型眼裡只有數字 (Token ID),文字透過 Tokenizer (BPE / SentencePiece) 切割。
• 一句繁體中文可能被切成 3~8 個 Token。
• Special Tokens: <|im_start|>、<|im_end|>、BOS、EOS、<think> 等控制符號。
把對話歷史包裝成模型訓練時看懂的特殊格式。
如果選錯 Chat Template 會發生:
❌ 角色扮演混亂、模型自己幫 User 回話
❌ 停不下來、產生無意義亂碼或特殊標籤外洩
❌ 思考標籤 <think> 無法正常摺疊或提早截斷
Context 8192 不是指你可以輸入 8192 字再加上回答 8192 字!
它是 [系統提示詞 System] + [對話歷史] + [本次輸入] + [模型即將生成的輸出] 的總和容量上限。
推論流程兩大階段:Prefill vs Decode
• 運算特性:平行計算整段輸入,建立初始 KV Cache
• 決定指標:TTFT (Time To First Token) 首字延遲
• 加速關鍵:Flash Attention、Evaluation Batch 大小、GPU 算力
• 運算特性:自回歸單步生成,每吐一個字就要讀取一次全模型權重!
• 決定指標:Generation tok/s (TPS) 生成速度
• 加速關鍵:記憶體頻寬 (VRAM Bandwidth)、Q4/Q5 壓縮量化
重新編排 attention 矩陣存取,大幅降低顯存讀寫與中間快取,長 Context 必開!
先用小模型 (Draft) 或 MTP 預測多個 token,再由主模型一次平行驗證,達成 1.5x~2x 提速。
以記憶體映射載入模型。務必將模型放在 NVMe SSD,放傳統 HDD 換頁會造成嚴重卡頓。
KV Cache:為什麼上下文越長顯存越爆?
在生成第 1000 個 token 時,Attention 需要前 999 個 token 的 Key 和 Value。
如果不把算過的 K/V 存起來,每生一個新字就要把前文全部重算一遍(計算複雜度會從 O(N) 飆升到 O(N²))。
因此,空間換時間,KV Cache 保存了過往所有注意力狀態。
危險操作:
• 把 Context 從 8K 開到 32K / 128K(顯存暴增 4~16 倍!)
• 多人並發 (Concurrent Slots) 未限制
LM Studio / llama.cpp 支援將 KV Cache 由 FP16 降為 Q8_0 甚至 Q4_0。
• KV Q8_0: 記憶體直接砍半,品質幾乎零損失,是長對話極推薦的省顯存神技!
• 注意:KV Cache 量化與模型權重量化互不干擾(可 Q4 模型搭配 Q8 KV Cache)。
顯存計算與互動式負載試算機
取樣參數:掌控隨機性與創造力
平滑或陡峭化機率分布。
• 低溫 (0.1 ~ 0.3): 嚴謹保守,適合寫代碼、結構化 JSON、數學。
• 中溫 (0.7 ~ 0.8): 平衡日常對話。
• 高溫 (>1.0): 隨機跳躍,容易胡言亂語。
• Top-P (Nucleus): 依機率累加直到達到 P (如 0.9),動態截斷低機率尾巴。
• Min-P (現代推薦): 設定相對於最高機率 token 的最小比例閾值 (如 0.05),高確定性時更精確,不確定時更多元。
• Repetition Penalty: 抑制重複出現過的話題與字句(設太高會破壞程式碼語法!)。
• Frequency Penalty: 依出現次數持續遞增懲罰。
• Presence Penalty: 只要出現過就一次性懲罰。
針對具備思考鏈(Thinking / Reasoning)架構的模型,限制其在 <think> 階段最多使用的 token 數。防止模型在簡單問題上陷入無限深思造成耗時。
評測基準與現代 AI 應用架構
• Perplexity (困惑度): 衡量模型對測試文本的預測能力,數值越低越好。是量化精度損失的重要客觀指標。
• 局限性:PPL 不代表指令遵循力、代碼正確性或繁中對話能力!
• 幻覺 (Hallucination): 模型自信地給出虛構事實。大模型不代表零幻覺。
• 視覺模型 (如 Qwen2-VL) 能辨識圖片。
• 在 GGUF 生態中:除了下載主文字權重,必須搭配 mmproj-*.gguf (視覺投影檔),否則圖片辨識功能完全無法啟動!
外掛知識庫!先用 Embedding 模型搜尋文件,再將上下文餵給 LLM 回答,不改變模型權重。
模型依照 JSON Schema 產生命令,讓程式調用天氣、數據庫或聯網搜尋,需要特定後訓練支援。
模型 + 工具 + 記憶 + 迴圈規劃能力,能自主拆解目標、執行步驟並自我修正。
本地 LLM 推論引擎與軟體生態
• llama.cpp: C/C++ 極致優化的跨平台核心推論庫,GGUF 標準制定者。
• LM Studio: 最強桌面 GUI 工具,具備搜尋下載、硬體監控、自訂參數、內建 OpenAI 相容 API 伺服器。
• 優勢:極佳的 CPU+GPU 混合卸載、豐富的取樣控制、直覺易用。
• Ollama: 類似 Docker 概念的終端命令管理工具,一鍵 ollama run,極適合開發整合與背景常駐。
• vLLM: 專為高吞吐 GPU 伺服器設計,利用 PagedAttention 與 Continuous Batching,適合多人並發。
• ExLlamaV2: 專為 Windows/Linux NVIDIA GPU 打造的高速 EXL2 量化引擎。
個人硬體 (16GB VRAM + 32GB RAM) 實戰配置
• 顯存占用:約 6~8 GB (100% 全入 VRAM)
• 生成速度:極速 (60~100+ tok/s)
• 定位:日常摘要、文本翻譯、郵件草擬、簡單代碼。互動行雲流水。
• 顯存占用:約 11~13 GB (全入 VRAM,保留 3GB 給 KV)
• 生成速度:舒適順暢 (35~50 tok/s)
• 定位:綜合能力最強甜點區!邏輯推理、繁中對話與程式碼全能。
• 記憶體配置:VRAM ~13.5GB + RAM ~10GB (混合推論)
• 生成速度:中等 (12~20 tok/s)
• 定位:處理長篇複雜論文、架構重構或高難度寫作時載入。
下載前 8 大關鍵檢查清單 (互動式)
掌控本地 AI 的十句精華金句
B是參數量,不是檔案大小。- 量化降低的是權重精度,不會把 27B 變成 4B。
- GGUF 是容器格式,Q4_K_M 是量化壓縮方法。
- MoE 的 Total 決定顯存占用,Active 決定每步計算量。
- 檔案大小小於 VRAM,不代表能 100% 塞進顯卡。
- Context Length 會透過 KV Cache 顯著侵蝕顯存。
- Prefill (TTFT) 與 Decode (TPS) 是兩種截然不同的速度。
- Chat Template 選錯可以讓頂級模型瞬間變傻。
- 善用 KV Cache Q8_0 量化可在長對話中大幅拯救顯存。
- 選模型不是挑最大,而是挑能在你的硬體上流暢運行的甜點款!