FreewingBiz Wing-W Symbol
FREEWINGBIZCharles AI Workspace
手冊閱讀模式:
Local AI & Infrastructure硬體選型 × 參數調校 × 資安避坑作者:Charles · 更新於 2026-11-08 · ⏱️ 預計閱讀與實作 10 分鐘

你的電腦能跑什麼 AI?
16GB 到 128GB 一次講完

很多人興沖沖下載了 Ollama 或 LM Studio,接上 Agent 卻發現 AI 像個智障、瘋狂失憶或卡成打字機。其實你的本地 AI 不笨,往往是設定錯了!本手冊帶你從記憶體黃金估算公式出發,一次搞懂 16GB~128GB 選型、MoE 加速秘訣、64k Context 設定,以及新手最常踩的 5 個大坑。

💡
為什麼你應該先看這篇再升級硬體?

Ollama 在 VRAM 小於 24GB 的電腦上,預設 Context(上下文)只有 4,096 tokens (4k)!而現代 AI Agent(如 OpenClaw、Cline、Roo Code 等)動輒需要 64k 以上的空間。沒改設定就直接跑,再強的模型也會瞬間失憶。

CHAPTER 01

核心規則:你的電腦到底「放不放得下」?

要在本地端順暢執行開源大語言模型(Local LLM),第一件事不是看 CPU 有幾核心,而是算清楚「模型權重 + Context(KV Cache)能不能完整塞進你的高速記憶體(VRAM 或 Mac 統一記憶體)」。只要有一小部分溢出到一般系統記憶體或硬碟 Swap,速度就會瞬間從每秒 40 字掉到每秒 1 字的「打字機地獄」。

法則 A:4-bit 模型大小估算公式
模型大小 (GB) ≈ 參數量 (B) × 0.6 + Context 預留空間

主流本地模型最推薦使用 4-bit 量化(如 Q4_K_M),這是在「智商不跳水」與「檔案大小」之間的最佳甜蜜點。例如 27B 模型本體約佔 27 × 0.6 ≈ 16.2 GB,但別忘了還要額外預留 4 GB ~ 12 GB 給長對話與 Agent 的 Context!

法則 B:Mac 統一記憶體安全法則
Mac 可用 AI 記憶體 ≈ 總記憶體 × 3 / 4 (75%)

Apple Silicon (M1/M2/M3/M4) 採用統一記憶體架構,macOS 系統與背景程式本身需要保留約 1/4 空間。例如 32GB 的 Mac,安全分給 AI 模型的上限約為 24 GB;若硬塞滿 30GB,系統就會開始瘋狂卡頓甚至崩潰。

INTERACTIVE TOOL

⚡ 互動式「我的電腦能跑什麼 AI」診斷計算機

調整下方硬體規格,即時試算最佳配置
安全可用 AI 記憶體上限24.0 GB已扣除 macOS 系統保留 25% (8.0 GB)
64k Context 預估佔用 (KV Cache)~5.5 GB開啟 Flash Attention & Q8 KV Cache 下估算
建議最大模型參數量 (4-bit)27B ~ 30B 等級模型權重可用空間:約 18.5 GB
記憶體配置模擬 (32 GB)✅ 配置健康,可順暢運行
模型權重
Context
餘裕
系統保留
4-bit 模型權重 (16.2 GB)Context 空間 (5.5 GB)緩衝餘裕 (2.3 GB)系統/顯存保留 (8.0 GB)
CHAPTER 02

16GB 到 128GB:各級距硬體到底能跑什麼?

我們可以用最直白的標準劃分四個主流記憶體級距的「定位分水嶺」。不要拿 16GB 的機器去硬上 70B 模型,也不要買了 64GB 卻只開預設的 4k Context 浪費硬體潛力:

16 GB入門甜點級:跑小模型
主力參數量:7B / 8B ~ 14B (4-bit)
4-bit 權重大小:約 4.5 GB ~ 8.5 GB

扣除系統保留後,16GB 最舒服的區間是 8B 等級模型(如 Llama-3.1-8B、Qwen2.5/Qwen3-8B、Gemma-3-12B)。如果硬塞 14B 模型,Context 就很難拉高到 64k。

適合任務:日常翻譯、信件潤飾、單篇短文摘要、輕量本機問答。
64 GB長文本工作站:完整展開長 Context
主力參數量:27B~32B (全開長 Context) 或 70B
核心優勢:64k ~ 128k+ Context 毫無壓力

64GB 的真正價值不只是能塞進 70B 模型,而是讓你在跑 27B~32B 甚至中型 MoE 模型時,能把 Context 徹底展開到 64k~128k,同時使用更高精度的量化(如 Q5/Q6 或 Q8 KV Cache)。

適合任務:重度 AI Agent 多步驟自動化、大型專案 Codebase 分析、長篇財報/論文解讀。
128 GB旗艦重裝級:真正換上超大模型
主力參數量:70B ~ 120B+ / 大型 MoE 模型
4-bit 權重大小:42 GB ~ 75 GB+

到了 128GB(如 Mac Studio M2/M3/M4 Max/Ultra 或多卡工作站),才真正建議把主力切換到 70B 以上的大尺寸 Dense 模型或百億級大型 MoE 模型,同時保有充裕的 64k+ Context 空間。

適合任務:高複雜度推理、企業內部完全離線私有部署、多模型同時駐留協作。
CHAPTER 03

為什麼有的大模型反而比較快?MoE 架構與軟體選擇

🚀 速度秘密:Dense (稠密) vs. MoE (混合專家)

許多新手以為「30B 模型一定比 14B 慢一半」,這在傳統 Dense(稠密模型) 上是對的,因為每生成一個字都要動用全部 30B 的參數。

但現在非常流行 MoE(Mixture of Experts,混合專家模型,例如 30B-A3B 架構):

  • 記憶體看「總參數」:30B 的 MoE 模型依然需要約 30 × 0.6 = 18 GB 的記憶體才能裝得下所有專家。
  • 速度看「激活參數 (Active Parameters)」:每次運算只會喚醒其中 3B 的專家!因此只要你的記憶體裝得下,30B MoE 跑起來的速度會像 3B 小模型一樣飛快,但同時具備大模型的知識廣度!
💡 口訣:想要快,先試試看 MoE 模型;如果還是慢,再試著換一個推論軟體或引擎(例如 Mac 上改用 MLX 後端)。

🛠️ 三大主流軟體怎麼選?

LM Studio視覺化首選 / 調參最直覺

提供完整圖形介面,內建 HuggingFace 搜尋與硬體相容性提示。調整 Context 長度、GPU Offload 與開啟 MLX 引擎(Mac 專屬加速)都在滑桿上一目了然,最適合不想背指令的使用者。

Ollama串接 Agent 首選 / 生態系最廣

背景常駐服務與 CLI 工具,幾乎所有開源 AI Agent、VS Code 外掛都預設支援 Ollama API。但務必注意預設 Context 過小的陷阱(見下方教學)!

llama.cpp極致效能 / 底層玩家首選

Ollama 與 LM Studio 背後的底層核心。如果你需要極致的記憶體控制、最新模型第一時間支援、或跨裝置分散推論,直接使用 llama-server 最乾淨俐落。

CHAPTER 04

實戰調校:如何把 Ollama 與 LM Studio 的 Context 拉到 64k?

這是本地部署 AI 最關鍵的實操重點:「要接 Agent,先把 Context 拉到 64k 以上!」以下整理三大工具將 Context 擴充至 64k 並優化記憶體的一鍵設定法:

方法一:在 Ollama 圖形介面或環境變數直接拉高全域 Context

新版 Ollama 桌面版可在 Settings 直接調整 Context Length;若你使用 CLI 或背景服務,建議設定以下環境變數(同時開啟 Flash Attention 與 KV Cache 量化,能大幅省下近一半的 Context 記憶體!):

macOS / Linux (Bash / Zsh) 或 Windows PowerShell
# 1. 確保 Ollama 只聽本機 (防止公網裸奔被盜用算力)
export OLLAMA_HOST="127.0.0.1:11434"

# 2. 開啟 Flash Attention 與 KV Cache 8-bit 量化 (省記憶體神器)
export OLLAMA_FLASH_ATTENTION="1"
export OLLAMA_KV_CACHE_TYPE="q8_0"

# 3. 設定預設全域 Context 長度為 64k (65536 tokens)
export OLLAMA_CONTEXT_LENGTH=65536

方法二:用 Modelfile 為 Agent 打造專屬 64k 模型映像

如果你不想影響所有小模型的記憶體佔用,可以針對要接 Agent 的模型建立專屬的 64k 版本:

Terminal 指令:建立 64k 專用模型
# 建立一個包含 65536 Context 設定的 Modelfile
cat << 'EOF' > Modelfile
FROM qwen2.5:32b
PARAMETER num_ctx 65536
EOF

# 封裝成新名稱,並在 Agent 中指定使用這個模型名稱
ollama create qwen2.5:32b-64k -f Modelfile
ollama run qwen2.5:32b-64k

LM Studio 必調 4 大參數(載入模型時彈出的設定視窗)

  1. Context Length (上下文長度):預設常為 4096。若要串接 Agent 或讀長檔案,請直接將滑桿拉到 65536 (64k)(16GB 機器若空間吃緊,可先設為 32768)。
  2. GPU Offload (GPU 卸載層數):務必拉到最右邊的 Max (100%),確保模型每一層都在 GPU / 統一記憶體內運算。
  3. Flash Attention & KV Cache Quantization (進階省記憶體):在右側進階選單勾選 Flash Attention,並將 K/V Cache 設為 Q8_0,可讓 64k Context 佔用的記憶體瞬間減半!
  4. Local Server 安全性檢查:在 Developer 分頁啟動 Local Server 時,確認 「Serve on Local Network」保持關閉(僅綁定 127.0.0.1:1234),除非你有明確的內網防火牆保護。

使用 llama-server 啟動高效能 64k OpenAI 相容端點

透過 -c 65536 指定 64k 上下文,搭配 -fa (Flash Attention) 與 -ctk q8_0 -ctv q8_0 壓縮 KV Cache:

llama-server 啟動指令範本
llama-server \
  -m ./models/gemma-3-27b-it-Q4_K_M.gguf \
  --host 127.0.0.1 \
  --port 8080 \
  -ngl 99 \
  -c 65536 \
  -fa \
  -ctk q8_0 -ctv q8_0
CHAPTER 05

新手最常踩的 5 個大坑 & 「七句照做」黃金法則

為什麼很多人玩本地 AI 玩到最後一肚子火?以下先幫你拆解新手最容易掉進去的 5 個致命誤區,接著附上「什麼時候才該升級+七句照做檢查表」:

坑 01

Agent 跑失敗,卻誤以為是「本地模型太笨」

真相:你沒改 Context 長度!Ollama 在小於 24GB VRAM 的機器上預設只給 4k Context,而像 OpenClaw 等 Agent 框架光是系統提示詞與工具定義就吃掉上萬 tokens。模型連你的題目跟工具都看不完整,當然瘋狂報錯或鬼打牆。解法:接 Agent 前先把 Context 拉到 64k 以上。

坑 02

記憶體算得「剛剛好切齊」,忽略了 Context 的胃口

真相:看到自己有 16GB 記憶體,就去找一個檔案大小 15.5GB 的模型來跑。結果一開對話,Context(KV Cache)需要的額外幾 GB 記憶體無處可放,直接擠爆 VRAM 觸發硬碟 Swap,生成速度瞬間變成「一秒吐一個字」的打字機。

坑 03

誤判 Mac 統一記憶體上限,把 100% 記憶體都算給 AI

真相:Mac 的統一記憶體是 CPU 與 GPU 共用的。如果你買 32GB 的 Mac,千萬不能拿 32GB 去算模型大小,必須先打 75 折(乘以 3/4 = 24GB),留下 25% 給 macOS 系統與瀏覽器,否則整台電腦會卡死或直接 OOM 強制重開。

坑 04

盲目迷信超大 Dense 模型,忽略了輕快強悍的 MoE 與任務分工

真相:以為一定要跑 70B 才能用,或者想用本地小模型取代所有雲端頂尖模型(如 Claude / GPT 高階推理)。其實「想要快,先試 MoE 模型」,而且應該遵循「難的交給雲端,私密的、重複的留在本地」的混合工作流。

坑 05

致命的資安疏忽:把 Ollama 對外開放,或在 Agent 資料夾放密碼

真相:為了方便遠端連線,把 Ollama 設成 0.0.0.0 暴露在公網,結果被全世界的爬蟲當成免費算力狂刷;或者把有檔案讀寫權限的 AI Agent 指向存有 .env 私鑰、銀行密碼或機密憑證的資料夾,一旦遭遇 Prompt Injection(提示詞注入),機密瞬間外洩。

⚡ 升級評估指標

🤔 什麼時候才該花錢升級硬體?

在掏出信用卡買 64GB / 128GB 電腦或高階顯卡之前,請先確認你已經把上述 5 個坑都填平了。如果「已經選對 4-bit / MoE 模型、已經把 Context 調對、也已經把高難度低頻率任務分流給雲端」之後,你依然每天遇到以下三種狀況,那才是真正該升級硬體的時候:

🔥
64k Context 經常滿載溢位

你的日常工作就是用 Agent 跑超長工作流或大型專案,現有記憶體開 64k Context 後已經塞不下 27B~32B 模型。

🔒
高敏資料 100% 嚴禁上雲端

因為法規、醫療、金融或公司機密限制,連最複雜的推理任務都必須在本地離線完成,這時才需要直上 64GB / 128GB 跑大模型。

⏳
等待時間成本 > 硬體折舊成本

你每天高頻率使用本地模型超過數小時,慢吞吞的 Token 生成速度已經嚴重拖垮你的工作流與專注力。

ACTIONABLE CHECKLIST

✅ 總結:「七句照做」黃金法則自檢表

把這七句話貼在桌前!勾選你已經確認做到的項目(系統會自動為你記錄進度):

0 / 7已落實項目

延伸實戰教學推薦

查看全部教學 →
Vibe Coding2026-11-17

給 Vibe Coder 的自動化驗收神盾:用 Playwright MCP 讓 AI 寫完網頁自己開瀏覽器跑完 E2E 視覺測試

受夠 AI 寫完前端就自信宣布「Done!」,結果你自己點開瀏覽器卻發現滿屏 Console Error、按鈕按了沒反應、手機版破版嗎?本文教你把 Playwright MCP 與 Chrome DevTools MCP 接進 AI 編程迴圈,打造「5 步驟前端自動驗收與自癒閉環」:背景啟動伺服器、Console/Network 錯誤捕手、Accessibility Tree 語意樹定位、375px/1440px 雙視口視覺檢測與自動修復,附上完整 playwright.config.ts、冒煙測試腳本與 E2E 驗收指令錦囊!

閱讀完整教學 →
Security & Architecture2026-10-30

別讓 AI 代理人暴走!企業級 Agent 沙盒隔離、網路出口管制與權限攔截實戰

深入剖析自主 AI Agent 在企業落地時面臨的安全邊界危機。從 Anthropic Claude 繞過付費牆事件到 Qwen 開源模型沙盒攔截案例,詳解為什麼 Prompt 防護欄注定失效。提供基於 gVisor 容器沙盒隔離、Linux eBPF 網路出口管制、Human-in-the-Loop 審批狀態機與不可竄改審計日誌的完整工程實戰體系。

閱讀完整教學 →
Enterprise AI2026-10-25

120 分鐘企業 AI 落地實戰:從生管決策到部門自動化

專為傳統製造業與非資訊背景打造的企業 AI 落地實戰指南,從破題心法、AI Agent 與 Bot 定位、生管實戰架構到技術導航地圖,帶領團隊從會問 AI 邁向讓 AI 真正參與工作。

閱讀完整教學 →