⚡ 本地 AI 模型名詞百科
1 / 20 | 封面導覽
✨ Local LLM Ultimate Field Guide

本地 AI 模型名詞百科

從模型命名、Transformer 架構、量化精算法、KV Cache 到 LM Studio / llama.cpp 硬體調優的圖文全攻略

個人化基準硬體:NVIDIA GeForce RTX 5070 Ti 16GB VRAM | 32GB RAM
Hugging Face GGUF & llama.cpp LM Studio & Ollama Dense vs MoE Q4_K_M 量化原理
📚 Study Roadmap

六大核心主題學習地圖

遇到模型名稱或設定隨時回來查閱,建立由淺入深的直覺觀念
01 先看懂模型檔名

拆解 Qwen3.8-27B-Q4_K_M.gguf,區分家族、大小、量化與容器格式。

02 模型本質與 Dense/MoE

釐清架構 vs 權重 vs 檢查點;破解 MoE 專家模型「A3B 只要 3B 記憶體」的迷思。

03 精度與量化 (Q4_K_M)

FP16 到 Q4_0、K-quants、I-quants 與 bpw 換算,權重如何壓縮而不失智。

04 檔案容器與生態

GGUF vs safetensors 終極比較,以及 AWQ、GPTQ、EXL2 與 bitsandbytes。

05 VRAM / RAM 與 KV Cache

為什麼 16.8GB 模型塞不下 16GB 顯卡?長上下文如何吃光顯存與互動試算。

06 RTX 5070 Ti 實戰選型

16GB VRAM + 32GB RAM 下 8B、14B、27B 最佳日常三模型配置與避坑原則。

💡 核心心法:27B 告訴你模型有多大;Q4_K_M 告訴你以多低的精度儲存;GGUF 告訴你資料裝在哪種容器裡。這三個概念完全獨立!
🔍 Chapter 1: Filename Anatomy

5 秒拆解模型檔名結構

點擊下方檔名片段,查看其背後的工程含義與注意事項
Qwen - 3.8 - 27B - Uncensored - Q4_K_M .gguf
🏷️
Qwen (模型家族 / 架構來源)
代表模型的架構血脈,例如 Llama、Gemma、Mistral、DeepSeek 等。決定底層 Transformer 設計與 Tokenizer 規格。
💡 另一個進階 MoE 檔名對比
Qwen3-30B-A3B-Instruct-Q5_K_M.gguf
30B: 全模型總參數量約 300 億
A3B: 每 token 啟用約 30 億參數 (MoE 專家架構)
Instruct: 經指令對話後訓練微調
Q5_K_M: 5-bit 級 K-quant 混合量化
🧠 Chapter 2: The Trinity of AI Models

模型三位一體:架構、權重與檢查點

日常口語說的「模型」到底指的是哪一部分?
🏗️ Architecture (架構)
「大腦構造藍圖」

模型的數學骨架,包含 Transformer 層數、Hidden Size 隱藏維度、Attention Heads、FFN 設計等。純架構代碼僅幾 KB。

⚖️ Weights (權重)
「神經元連接強度」

訓練後儲存的數十億個浮點數(張量 Tensors)。模型並未死記原文,而是將全世界的語言規律壓縮進這些矩陣中。

💾 Checkpoint (檢查點)
「某時刻的大腦存檔」

某個架構在特定訓練階段儲存下來的完整狀態(權重+設定+Tokenizer)。例如 Base 檔或 SFT 檔。

Token / 文字輸入 經過 Embedding 轉向量 多層 Transformer 運算 Layer 1 ~ Layer N (GPU Offload) Self-Attention + FFN / MLP Logits → Softmax 下一個 Token 機率分布
⚡ Chapter 3: Model Architectures

Dense (稠密) 與 MoE (混合專家) 深度比較

破解「MoE 30B-A3B 只要 3B 記憶體」的重大迷思
🧱 Dense 稠密模型 (如 27B Dense)

每個 token 在通過每一層時,都會動用模型全部約 27B 的主要權重進行計算。

  • 運算路徑:固定且全面,計算量大
  • 記憶體要求:儲存 27B 權重 (約 16.8GB GGUF)
  • 推論特性:對記憶體頻寬要求高,速度穩定可預測
  • 硬體適配:簡單直接,全卡 offload 即可滿速
🧩 MoE 混合專家模型 (如 30B-A3B)

將 FFN 分成多個子專家(例如 128 個),Router 依 token 特性僅動態挑選 8 個專家計算。

  • 運算路徑:稀疏路由 (Active ~3.3B),算力負擔輕
  • 記憶體要求:仍需存放全部 30B 權重!
  • 推論特性:生成速度可能極快,但顯存占用無法減少
  • 硬體適配:對 Expert Offload 與 RAM 頻寬極度敏感
⚠️ MoE 最重要結論:A3B (Active) 決定每 token 計算量與速度;30B (Total) 決定模型檔案大小與 VRAM / RAM 儲存量。MoE 絕對不會只占 3B 顯存!
📉 Chapter 4: Precision & Quantization

精度、量化與 bpw (Bits Per Weight)

如何在節省 70% 顯存的同時,保留 95% 以上的大腦智慧?
🎚️ 浮點原始精度

• FP32 (32-bit): 極大,推論無必要

• BF16 / FP16 (16-bit): 原生訓練標準,1B 參數 ≈ 2GB 空間

• FP8 (8-bit): 新世代 GPU 原生格式

🗜️ 整數/區塊量化 (Quant)

• 將連續浮點數映射到離散區間

• 搭配 Block Scale 與 Offset 近似還原

• PTQ: 訓練後量化 (常見 GGUF)

• QAT: 訓練中感知量化

📏 核心指標 bpw

• Bits Per Weight: 每個參數平均 bit

• Q4_K_M 實際 bpw ≈ 4.89 (非 4.0!)

• 額外空間來自 Block Metadata 與敏感 Tensor 高精度保留

💡 量化會把 27B 變成 4B 嗎?

絕不會!27B Q4_K_M 仍然擁有 270 億個神經網路參數,只是每個數字用較短的位元儲存。真正直接刪除神經元、Attention Head 或層數的技術叫做 Pruning (剪枝)。

📊 Quantization Tier List

GGUF 量化等級天梯速查表

以 Llama 3.1 8B 官方基準 bpw 為例,評估品質與適用情境
量化格式 平均 bpw 品質保留傾向 適合情境與定位
Q2_K ~3.16 極高損失風險 記憶體極度不足,只求能跑起來
Q3_K_M / L 4.00 ~ 4.30 中度至明顯損失 顯存吃緊時的極限壓縮妥協
Q4_K_M ~4.89 黃金平衡點 (低損失) 大眾首選!兼顧體積、速度與穩定品質
Q5_K_M ~5.70 極低損失 顯存充裕,重視邏輯、代碼與繁體中文品質
Q6_K ~6.56 接近無損感知 8B / 14B 模型完整塞入 16GB VRAM 的極佳選擇
Q8_0 ~8.50 幾乎等於原始精度 驗證基準、小型模型 (如 1.5B ~ 7B) 專用
🔍 K-quants vs I-quants (IQ)
K-quants: llama.cpp 超級區塊標準,泛用性與硬體加速最好。
I-quants: 搭配 Importance Matrix (imatrix),在 1~3 bit 極限壓縮下保護重要權重。
⚠️ 拒絕 Requantization (二次量化)
千萬不要拿已量化的 Q8/Q4 檔再壓縮成 Q3,誤差會幾何級數放大!務必選擇由原始 BF16/FP16 直出的 GGUF。
📦 Chapter 5 & 6: File Formats & Ecosystems

GGUF vs safetensors 容器與生態

檔案容器不等於量化格式;選錯格式連載入都成問題
🗂️ GGUF (GGML Universal File)

llama.cpp 生態專用的二進位容器。一體化封裝模型權重、Tokenizer、Chat Template、RoPE 等全部中繼資料 (Metadata)。

✅ 單檔即用:下載單一 .gguf 即可直接對話

✅ 跨平台成熟:完美支援 CPU、CUDA、Metal、Vulkan

✅ 混合卸載:可精確指定多少層進 GPU、多少留在 RAM

🎯 適用場景:LM Studio、Ollama、llama.cpp 本地推論

🛡️ safetensors (Hugging Face)

取代傳統危險 Python pickle 的純權重儲存格式,強調零反序列化安全漏洞與快速讀取。

⚙️ 生態分散:通常需要搭配 config.json、tokenizer 檔案

⚙️ 常用精度:原生 BF16 / FP16 或 AWQ / GPTQ / bitsandbytes

⚙️ 分片 Shards:常被拆成 00001-of-00004.safetensors

🎯 適用場景:Transformers 訓練、LoRA 微調、vLLM 伺服器部署

🌐 其他常見 GPU 量化生態速覽
AWQ: 適合 vLLM / TensorRT 高併發
EXL2: ExLlamaV2 NVIDIA 滿載極速
GPTQ: 早期 GPU 4-bit 量化標準
NF4: QLoRA 低顯存微調專用
🔄 Chapter 7: Training Lifecycle

從 Base、Instruct 到 Uncensored 的演化

預訓練、後訓練微調、對齊與社群 Merge 名詞詳解
1. Pre-training 海量文字 → Base Model 2. SFT (指令微調) 問答對 → Instruct Model 3. Alignment (對齊) RLHF / DPO / GRPO 4. Adaptation LoRA / Merge / Distill
🧩 LoRA 與 QLoRA

LoRA: 凍結基礎模型,只訓練外掛小矩陣 Adapter。
QLoRA: 將 base 模型以 4-bit 載入後再插 LoRA,讓消費級顯卡也能微調!

🧪 Distillation (蒸餾)

讓小模型 (Student) 學習大模型 (Teacher) 的輸出與推理鏈。它是重新訓練的獨立模型,不是單純壓縮。

🔓 Uncensored / Abliterated

透過移除拒答數據或消融拒答激活方向。這不代表智力提升或事實更準,僅代表降低防禦性拒絕。

⚙️ Chapter 8: Inside Transformer

Transformer 注意力家族:MHA、MQA 與 GQA

Decoder-only 架構如何透過自注意力理解上下文與節省記憶體
MHA (多頭注意力)
Multi-Head Attention

每個 Query Head 都有各自獨立的 Key/Value Head。表現力強,但 KV Cache 體積極大,長上下文容易爆顯存。

MQA (多查詢注意力)
Multi-Query Attention

所有 Query Heads 全部共用唯獨 1 組 Key/Value Head。KV Cache 縮小到極限,但可能略微犧牲複雜推理能力。

GQA (分組查詢注意力)
Grouped-Query Attention (現代主流)

將 Query 分組共用 KV (例如 32 個 Q 配 4 個 KV,即 8:1)。完美平衡了推論品質與 KV Cache 記憶體!

🔄 RoPE 與 YaRN 長上下文擴展

RoPE: 旋轉位置編碼,將前後順序直接旋轉進向量中。
YaRN: 透過修改頻率縮放讓模型硬吃 64K / 128K context,但未經長文本訓練時檢索品質可能劣化。

🐍 SSM / Mamba 與 Hybrid 架構

非標準 Transformer 架構,以狀態轉移更新序列,長上下文計算量呈現線性成長。需要專屬 runtime 支援。

💬 Chapter 9: Token, Context & Chat Template

Tokenization 與 Chat Template 的致命陷阱

為什麼設定錯 Template,連最頂級的模型都會胡言亂語?
🔤 Token ≠ 中文字 ≠ 單字

• 模型眼裡只有數字 (Token ID),文字透過 Tokenizer (BPE / SentencePiece) 切割。
• 一句繁體中文可能被切成 3~8 個 Token。
• Special Tokens: <|im_start|>、<|im_end|>、BOS、EOS、<think> 等控制符號。

⚠️ Chat Template 嚴重性

把對話歷史包裝成模型訓練時看懂的特殊格式。
如果選錯 Chat Template 會發生:
❌ 角色扮演混亂、模型自己幫 User 回話
❌ 停不下來、產生無意義亂碼或特殊標籤外洩
❌ 思考標籤 <think> 無法正常摺疊或提早截斷

📐 Context Window (上下文視窗) 的真面目

Context 8192 不是指你可以輸入 8192 字再加上回答 8192 字!
它是 [系統提示詞 System] + [對話歷史] + [本次輸入] + [模型即將生成的輸出] 的總和容量上限。

⏱️ Chapter 10: Inference & Metrics

推論流程兩大階段:Prefill vs Decode

搞懂 TTFT、TPS、GPU Offload 與 Flash Attention 的加速奧秘
1️⃣ Prefill (Prompt Processing)
「一次消化整段提問」

• 運算特性:平行計算整段輸入,建立初始 KV Cache
• 決定指標:TTFT (Time To First Token) 首字延遲
• 加速關鍵:Flash Attention、Evaluation Batch 大小、GPU 算力

2️⃣ Decode (Token Generation)
「逐字吐出回答」

• 運算特性:自回歸單步生成,每吐一個字就要讀取一次全模型權重!
• 決定指標:Generation tok/s (TPS) 生成速度
• 加速關鍵:記憶體頻寬 (VRAM Bandwidth)、Q4/Q5 壓縮量化

⚡ Flash Attention

重新編排 attention 矩陣存取,大幅降低顯存讀寫與中間快取,長 Context 必開!

🔮 Speculative Decoding

先用小模型 (Draft) 或 MTP 預測多個 token,再由主模型一次平行驗證,達成 1.5x~2x 提速。

💾 mmap 與 NVMe SSD

以記憶體映射載入模型。務必將模型放在 NVMe SSD,放傳統 HDD 換頁會造成嚴重卡頓。

🧠 Chapter 11: KV Cache Architecture

KV Cache:為什麼上下文越長顯存越爆?

自回歸推論必備的加速記憶,也是吃光 VRAM 的隱形殺手
❓ 為什麼需要 KV Cache?

在生成第 1000 個 token 時,Attention 需要前 999 個 token 的 Key 和 Value。
如果不把算過的 K/V 存起來,每生一個新字就要把前文全部重算一遍(計算複雜度會從 O(N) 飆升到 O(N²))。
因此,空間換時間,KV Cache 保存了過往所有注意力狀態。

💣 KV Cache 容量暴增公式
大小 ≈ 層數 × Context Tokens × KV Heads × Head Dim × 2(K+V) × 精度Bytes

危險操作:
• 把 Context 從 8K 開到 32K / 128K(顯存暴增 4~16 倍!)
• 多人並發 (Concurrent Slots) 未限制

💡 救星策略:KV Cache 量化 (K-Quant / V-Quant)

LM Studio / llama.cpp 支援將 KV Cache 由 FP16 降為 Q8_0 甚至 Q4_0。
• KV Q8_0: 記憶體直接砍半,品質幾乎零損失,是長對話極推薦的省顯存神技!
• 注意:KV Cache 量化與模型權重量化互不干擾(可 Q4 模型搭配 Q8 KV Cache)。

🧮 Chapter 12 & 13: Hardware & Memory Sizing

顯存計算與互動式負載試算機

為什麼 16.8GB 檔案塞不進 16GB 顯卡?動手調整參數看負載!
⚙️ 選擇模型與推論設定
📊 預估記憶體配置 (RTX 5070 Ti 基準)
模型純權重檔案大小: ~16.5 GB
KV Cache + 運算 Buffer: ~2.2 GB
總記憶體需求: ~18.7 GB
專用 VRAM 占用 (上限 16GB) 14.0 GB / 16 GB
系統 RAM 溢出占用 (上限 32GB) 4.7 GB / 32 GB
⚖️ 混合推論狀態 (Hybrid CPU/GPU):模型權重大於專用 VRAM,部分層將卸載至 RAM,速度可接受但受限於 RAM 頻寬。
🎲 Chapter 14: Sampling & Generation

取樣參數:掌控隨機性與創造力

Temperature、Top-P、Min-P 與懲罰因子如何決定 AI 的語氣風格
🌡️ Temperature (溫度)

平滑或陡峭化機率分布。
• 低溫 (0.1 ~ 0.3): 嚴謹保守,適合寫代碼、結構化 JSON、數學。
• 中溫 (0.7 ~ 0.8): 平衡日常對話。
• 高溫 (>1.0): 隨機跳躍,容易胡言亂語。

🎯 Top-P vs Min-P

• Top-P (Nucleus): 依機率累加直到達到 P (如 0.9),動態截斷低機率尾巴。
• Min-P (現代推薦): 設定相對於最高機率 token 的最小比例閾值 (如 0.05),高確定性時更精確,不確定時更多元。

🚫 重複懲罰 (Penalties)

• Repetition Penalty: 抑制重複出現過的話題與字句(設太高會破壞程式碼語法!)。
• Frequency Penalty: 依出現次數持續遞增懲罰。
• Presence Penalty: 只要出現過就一次性懲罰。

🧠 Reasoning Budget (推理預算)

針對具備思考鏈(Thinking / Reasoning)架構的模型,限制其在 <think> 階段最多使用的 token 數。防止模型在簡單問題上陷入無限深思造成耗時。

🚀 Chapter 15 & 16: Benchmarks & AI Applications

評測基準與現代 AI 應用架構

Perplexity 困惑度、VLM 視覺多模態、RAG 與 Tool Calling
📈 品質評測與困惑度 (PPL)

• Perplexity (困惑度): 衡量模型對測試文本的預測能力,數值越低越好。是量化精度損失的重要客觀指標。
• 局限性:PPL 不代表指令遵循力、代碼正確性或繁中對話能力!
• 幻覺 (Hallucination): 模型自信地給出虛構事實。大模型不代表零幻覺。

👁️ VLM 視覺多模態與 mmproj

• 視覺模型 (如 Qwen2-VL) 能辨識圖片。
• 在 GGUF 生態中:除了下載主文字權重,必須搭配 mmproj-*.gguf (視覺投影檔),否則圖片辨識功能完全無法啟動!

📚 RAG (檢索增強生成)

外掛知識庫!先用 Embedding 模型搜尋文件,再將上下文餵給 LLM 回答,不改變模型權重。

🛠️ Tool / Function Calling

模型依照 JSON Schema 產生命令,讓程式調用天氣、數據庫或聯網搜尋,需要特定後訓練支援。

🤖 AI Agent (代理人)

模型 + 工具 + 記憶 + 迴圈規劃能力,能自主拆解目標、執行步驟並自我修正。

💻 Chapter 17: Local Inference Tools

本地 LLM 推論引擎與軟體生態

認識 llama.cpp、LM Studio、Ollama、vLLM 各自的強項與定位
🦙 llama.cpp & LM Studio

• llama.cpp: C/C++ 極致優化的跨平台核心推論庫,GGUF 標準制定者。

• LM Studio: 最強桌面 GUI 工具,具備搜尋下載、硬體監控、自訂參數、內建 OpenAI 相容 API 伺服器。

• 優勢:極佳的 CPU+GPU 混合卸載、豐富的取樣控制、直覺易用。

🦙 Ollama & vLLM

• Ollama: 類似 Docker 概念的終端命令管理工具,一鍵 ollama run,極適合開發整合與背景常駐。

• vLLM: 專為高吞吐 GPU 伺服器設計,利用 PagedAttention 與 Continuous Batching,適合多人並發。

• ExLlamaV2: 專為 Windows/Linux NVIDIA GPU 打造的高速 EXL2 量化引擎。

💡 重要觀念:LM Studio 和 Ollama 是「載入與執行工具」,不是模型本身。跑得順不順取決於背後的 GGUF 架構、量化等級以及 Runtime 版本相容性!
🎯 Chapter 18: Hardware Match Guide

個人硬體 (16GB VRAM + 32GB RAM) 實戰配置

打造最舒服的日常本地 AI 工作流:黃金三模型組合
⚡ 快速輕巧模型
8B @ Q6_K / Q8_0

• 顯存占用:約 6~8 GB (100% 全入 VRAM)
• 生成速度:極速 (60~100+ tok/s)
• 定位:日常摘要、文本翻譯、郵件草擬、簡單代碼。互動行雲流水。

🏆 日常主力模型
14B @ Q5_K_M / Q6_K

• 顯存占用:約 11~13 GB (全入 VRAM,保留 3GB 給 KV)
• 生成速度:舒適順暢 (35~50 tok/s)
• 定位:綜合能力最強甜點區!邏輯推理、繁中對話與程式碼全能。

🔬 深度推理模型
27B / 30B-MoE @ Q4_K_M

• 記憶體配置:VRAM ~13.5GB + RAM ~10GB (混合推論)
• 生成速度:中等 (12~20 tok/s)
• 定位:處理長篇複雜論文、架構重構或高難度寫作時載入。

✨ 選型哲學:不要永遠執著於跑最大的模型!把 14B 完整放入 16GB 高速顯存的流暢體驗,往往遠勝於勉強跑 32B 跨 RAM 換頁的卡頓感。
📋 Chapter 19 & 20: Pre-Flight Checklist & Myths

下載前 8 大關鍵檢查清單 (互動式)

在 Hugging Face 點擊下載前,逐一核對以防踩雷
✓
1. 確認檔案副檔名為 .gguf (非純 safetensors)
✓
2. 選擇 Instruct / Chat 版本 (聊天勿下載 Base)
✓
3. 量化等級優先挑選 Q4_K_M 或 Q5_K_M
✓
4. 確認模型是否為 BF16 原始權重直出 (非二次量化)
✓
5. 若為 MoE 模型,同時確認 Total 與 Active 參數量
✓
6. 顯存預算需為 KV Cache 與 Buffer 保留 2GB 空間
✓
7. 若為多分片模型 (00001-of-00002),確認全部分片已載完
✓
8. 模型放置於 C: NVMe SSD (避免放在 D: 傳統機械硬碟)
🚫 三大最危險誤解警示
❌ 誤解 1: 共享 GPU 記憶體等於真顯存 (錯!經 PCIe 存取極慢)
❌ 誤解 2: Q4 轉回 FP16 能恢復畫質 (錯!資訊丟失不可逆)
❌ 誤解 3: Context 設越長越聰明 (錯!只會增加負擔且可能迷失)
💎 Chapter 21 & Appendix: Summary

掌控本地 AI 的十句精華金句

融會貫通所有概念,成為本地大型語言模型專家
🏆 必備核心認知
  1. B 是參數量,不是檔案大小。
  2. 量化降低的是權重精度,不會把 27B 變成 4B。
  3. GGUF 是容器格式,Q4_K_M 是量化壓縮方法。
  4. MoE 的 Total 決定顯存占用,Active 決定每步計算量。
  5. 檔案大小小於 VRAM,不代表能 100% 塞進顯卡。
  6. Context Length 會透過 KV Cache 顯著侵蝕顯存。
  7. Prefill (TTFT) 與 Decode (TPS) 是兩種截然不同的速度。
  8. Chat Template 選錯可以讓頂級模型瞬間變傻。
  9. 善用 KV Cache Q8_0 量化可在長對話中大幅拯救顯存。
  10. 選模型不是挑最大,而是挑能在你的硬體上流暢運行的甜點款!
📖 常用縮寫速查庫 (即時搜尋)
LLM: Large Language Model (大型語言模型)
VLM: Vision-Language Model (視覺語言多模態模型)
MoE: Mixture of Experts (混合專家稀疏架構)
GQA: Grouped-Query Attention (分組查詢注意力)
RoPE: Rotary Positional Embedding (旋轉位置編碼)
KV Cache: Key-Value 快取 (自回歸歷史注意力儲存)
bpw: Bits Per Weight (平均每個權重佔用位元數)
TTFT: Time To First Token (首字生成等待延遲)
TPS: Tokens Per Second (每秒生成 Token 速率)
RAG: Retrieval-Augmented Generation (檢索增強生成)
DPO / GRPO: 偏好對齊強化學習算法

📑 簡報投影片全覽目錄