你的電腦能跑什麼 AI?
16GB 到 128GB 一次講完
很多人興沖沖下載了 Ollama 或 LM Studio,接上 Agent 卻發現 AI 像個智障、瘋狂失憶或卡成打字機。其實你的本地 AI 不笨,往往是設定錯了!本手冊帶你從記憶體黃金估算公式出發,一次搞懂 16GB~128GB 選型、MoE 加速秘訣、64k Context 設定,以及新手最常踩的 5 個大坑。
Ollama 在 VRAM 小於 24GB 的電腦上,預設 Context(上下文)只有 4,096 tokens (4k)!而現代 AI Agent(如 OpenClaw、Cline、Roo Code 等)動輒需要 64k 以上的空間。沒改設定就直接跑,再強的模型也會瞬間失憶。
核心規則:你的電腦到底「放不放得下」?
要在本地端順暢執行開源大語言模型(Local LLM),第一件事不是看 CPU 有幾核心,而是算清楚「模型權重 + Context(KV Cache)能不能完整塞進你的高速記憶體(VRAM 或 Mac 統一記憶體)」。只要有一小部分溢出到一般系統記憶體或硬碟 Swap,速度就會瞬間從每秒 40 字掉到每秒 1 字的「打字機地獄」。
主流本地模型最推薦使用 4-bit 量化(如 Q4_K_M),這是在「智商不跳水」與「檔案大小」之間的最佳甜蜜點。例如 27B 模型本體約佔 27 × 0.6 ≈ 16.2 GB,但別忘了還要額外預留 4 GB ~ 12 GB 給長對話與 Agent 的 Context!
Apple Silicon (M1/M2/M3/M4) 採用統一記憶體架構,macOS 系統與背景程式本身需要保留約 1/4 空間。例如 32GB 的 Mac,安全分給 AI 模型的上限約為 24 GB;若硬塞滿 30GB,系統就會開始瘋狂卡頓甚至崩潰。
16GB 到 128GB:各級距硬體到底能跑什麼?
我們可以用最直白的標準劃分四個主流記憶體級距的「定位分水嶺」。不要拿 16GB 的機器去硬上 70B 模型,也不要買了 64GB 卻只開預設的 4k Context 浪費硬體潛力:
扣除系統保留後,16GB 最舒服的區間是 8B 等級模型(如 Llama-3.1-8B、Qwen2.5/Qwen3-8B、Gemma-3-12B)。如果硬塞 14B 模型,Context 就很難拉高到 64k。
這是本地模型發生「智商質變」的關鍵門檻!27B~32B 模型(如 Gemma-3-27B、Qwen-32B 或 30B-A3B MoE)佔用約 16~18GB,剩下的空間剛好能開啟 32k~64k Context 接上 Agent。
64GB 的真正價值不只是能塞進 70B 模型,而是讓你在跑 27B~32B 甚至中型 MoE 模型時,能把 Context 徹底展開到 64k~128k,同時使用更高精度的量化(如 Q5/Q6 或 Q8 KV Cache)。
到了 128GB(如 Mac Studio M2/M3/M4 Max/Ultra 或多卡工作站),才真正建議把主力切換到 70B 以上的大尺寸 Dense 模型或百億級大型 MoE 模型,同時保有充裕的 64k+ Context 空間。
為什麼有的大模型反而比較快?MoE 架構與軟體選擇
🚀 速度秘密:Dense (稠密) vs. MoE (混合專家)
許多新手以為「30B 模型一定比 14B 慢一半」,這在傳統 Dense(稠密模型) 上是對的,因為每生成一個字都要動用全部 30B 的參數。
但現在非常流行 MoE(Mixture of Experts,混合專家模型,例如 30B-A3B 架構):
- 記憶體看「總參數」:30B 的 MoE 模型依然需要約
30 × 0.6 = 18 GB的記憶體才能裝得下所有專家。 - 速度看「激活參數 (Active Parameters)」:每次運算只會喚醒其中
3B的專家!因此只要你的記憶體裝得下,30B MoE 跑起來的速度會像 3B 小模型一樣飛快,但同時具備大模型的知識廣度!
🛠️ 三大主流軟體怎麼選?
提供完整圖形介面,內建 HuggingFace 搜尋與硬體相容性提示。調整 Context 長度、GPU Offload 與開啟 MLX 引擎(Mac 專屬加速)都在滑桿上一目了然,最適合不想背指令的使用者。
背景常駐服務與 CLI 工具,幾乎所有開源 AI Agent、VS Code 外掛都預設支援 Ollama API。但務必注意預設 Context 過小的陷阱(見下方教學)!
Ollama 與 LM Studio 背後的底層核心。如果你需要極致的記憶體控制、最新模型第一時間支援、或跨裝置分散推論,直接使用 llama-server 最乾淨俐落。
實戰調校:如何把 Ollama 與 LM Studio 的 Context 拉到 64k?
這是本地部署 AI 最關鍵的實操重點:「要接 Agent,先把 Context 拉到 64k 以上!」以下整理三大工具將 Context 擴充至 64k 並優化記憶體的一鍵設定法:
方法一:在 Ollama 圖形介面或環境變數直接拉高全域 Context
新版 Ollama 桌面版可在 Settings 直接調整 Context Length;若你使用 CLI 或背景服務,建議設定以下環境變數(同時開啟 Flash Attention 與 KV Cache 量化,能大幅省下近一半的 Context 記憶體!):
# 1. 確保 Ollama 只聽本機 (防止公網裸奔被盜用算力)
export OLLAMA_HOST="127.0.0.1:11434"
# 2. 開啟 Flash Attention 與 KV Cache 8-bit 量化 (省記憶體神器)
export OLLAMA_FLASH_ATTENTION="1"
export OLLAMA_KV_CACHE_TYPE="q8_0"
# 3. 設定預設全域 Context 長度為 64k (65536 tokens)
export OLLAMA_CONTEXT_LENGTH=65536方法二:用 Modelfile 為 Agent 打造專屬 64k 模型映像
如果你不想影響所有小模型的記憶體佔用,可以針對要接 Agent 的模型建立專屬的 64k 版本:
# 建立一個包含 65536 Context 設定的 Modelfile
cat << 'EOF' > Modelfile
FROM qwen2.5:32b
PARAMETER num_ctx 65536
EOF
# 封裝成新名稱,並在 Agent 中指定使用這個模型名稱
ollama create qwen2.5:32b-64k -f Modelfile
ollama run qwen2.5:32b-64kLM Studio 必調 4 大參數(載入模型時彈出的設定視窗)
- Context Length (上下文長度):預設常為
4096。若要串接 Agent 或讀長檔案,請直接將滑桿拉到65536(64k)(16GB 機器若空間吃緊,可先設為32768)。 - GPU Offload (GPU 卸載層數):務必拉到最右邊的
Max (100%),確保模型每一層都在 GPU / 統一記憶體內運算。 - Flash Attention & KV Cache Quantization (進階省記憶體):在右側進階選單勾選
Flash Attention,並將 K/V Cache 設為Q8_0,可讓 64k Context 佔用的記憶體瞬間減半! - Local Server 安全性檢查:在 Developer 分頁啟動 Local Server 時,確認 「Serve on Local Network」保持關閉(僅綁定
127.0.0.1:1234),除非你有明確的內網防火牆保護。
使用 llama-server 啟動高效能 64k OpenAI 相容端點
透過 -c 65536 指定 64k 上下文,搭配 -fa (Flash Attention) 與 -ctk q8_0 -ctv q8_0 壓縮 KV Cache:
llama-server \
-m ./models/gemma-3-27b-it-Q4_K_M.gguf \
--host 127.0.0.1 \
--port 8080 \
-ngl 99 \
-c 65536 \
-fa \
-ctk q8_0 -ctv q8_0新手最常踩的 5 個大坑 & 「七句照做」黃金法則
為什麼很多人玩本地 AI 玩到最後一肚子火?以下先幫你拆解新手最容易掉進去的 5 個致命誤區,接著附上「什麼時候才該升級+七句照做檢查表」:
Agent 跑失敗,卻誤以為是「本地模型太笨」
真相:你沒改 Context 長度!Ollama 在小於 24GB VRAM 的機器上預設只給 4k Context,而像 OpenClaw 等 Agent 框架光是系統提示詞與工具定義就吃掉上萬 tokens。模型連你的題目跟工具都看不完整,當然瘋狂報錯或鬼打牆。解法:接 Agent 前先把 Context 拉到 64k 以上。
記憶體算得「剛剛好切齊」,忽略了 Context 的胃口
真相:看到自己有 16GB 記憶體,就去找一個檔案大小 15.5GB 的模型來跑。結果一開對話,Context(KV Cache)需要的額外幾 GB 記憶體無處可放,直接擠爆 VRAM 觸發硬碟 Swap,生成速度瞬間變成「一秒吐一個字」的打字機。
誤判 Mac 統一記憶體上限,把 100% 記憶體都算給 AI
真相:Mac 的統一記憶體是 CPU 與 GPU 共用的。如果你買 32GB 的 Mac,千萬不能拿 32GB 去算模型大小,必須先打 75 折(乘以 3/4 = 24GB),留下 25% 給 macOS 系統與瀏覽器,否則整台電腦會卡死或直接 OOM 強制重開。
盲目迷信超大 Dense 模型,忽略了輕快強悍的 MoE 與任務分工
真相:以為一定要跑 70B 才能用,或者想用本地小模型取代所有雲端頂尖模型(如 Claude / GPT 高階推理)。其實「想要快,先試 MoE 模型」,而且應該遵循「難的交給雲端,私密的、重複的留在本地」的混合工作流。
致命的資安疏忽:把 Ollama 對外開放,或在 Agent 資料夾放密碼
真相:為了方便遠端連線,把 Ollama 設成 0.0.0.0 暴露在公網,結果被全世界的爬蟲當成免費算力狂刷;或者把有檔案讀寫權限的 AI Agent 指向存有 .env 私鑰、銀行密碼或機密憑證的資料夾,一旦遭遇 Prompt Injection(提示詞注入),機密瞬間外洩。
🤔 什麼時候才該花錢升級硬體?
在掏出信用卡買 64GB / 128GB 電腦或高階顯卡之前,請先確認你已經把上述 5 個坑都填平了。如果「已經選對 4-bit / MoE 模型、已經把 Context 調對、也已經把高難度低頻率任務分流給雲端」之後,你依然每天遇到以下三種狀況,那才是真正該升級硬體的時候:
你的日常工作就是用 Agent 跑超長工作流或大型專案,現有記憶體開 64k Context 後已經塞不下 27B~32B 模型。
因為法規、醫療、金融或公司機密限制,連最複雜的推理任務都必須在本地離線完成,這時才需要直上 64GB / 128GB 跑大模型。
你每天高頻率使用本地模型超過數小時,慢吞吞的 Token 生成速度已經嚴重拖垮你的工作流與專注力。
延伸實戰教學推薦
查看全部教學 →給 Vibe Coder 的自動化驗收神盾:用 Playwright MCP 讓 AI 寫完網頁自己開瀏覽器跑完 E2E 視覺測試
受夠 AI 寫完前端就自信宣布「Done!」,結果你自己點開瀏覽器卻發現滿屏 Console Error、按鈕按了沒反應、手機版破版嗎?本文教你把 Playwright MCP 與 Chrome DevTools MCP 接進 AI 編程迴圈,打造「5 步驟前端自動驗收與自癒閉環」:背景啟動伺服器、Console/Network 錯誤捕手、Accessibility Tree 語意樹定位、375px/1440px 雙視口視覺檢測與自動修復,附上完整 playwright.config.ts、冒煙測試腳本與 E2E 驗收指令錦囊!
別讓 AI 代理人暴走!企業級 Agent 沙盒隔離、網路出口管制與權限攔截實戰
深入剖析自主 AI Agent 在企業落地時面臨的安全邊界危機。從 Anthropic Claude 繞過付費牆事件到 Qwen 開源模型沙盒攔截案例,詳解為什麼 Prompt 防護欄注定失效。提供基於 gVisor 容器沙盒隔離、Linux eBPF 網路出口管制、Human-in-the-Loop 審批狀態機與不可竄改審計日誌的完整工程實戰體系。
120 分鐘企業 AI 落地實戰:從生管決策到部門自動化
專為傳統製造業與非資訊背景打造的企業 AI 落地實戰指南,從破題心法、AI Agent 與 Bot 定位、生管實戰架構到技術導航地圖,帶領團隊從會問 AI 邁向讓 AI 真正參與工作。