為什麼簡單的 Naive RAG 無法滿足企業生產需求?
檢索增強生成(Retrieval-Augmented Generation, RAG)是解決大型語言模型(LLM)幻覺、知識過期以及缺乏私有領域數據的首選方案。然而,大多數技術團隊在初期嘗試的「樸素 RAG(Naive RAG)」流程:
傳統 Naive RAG 流程:
PDF 上傳➔固定 500 字元切割➔OpenAI Embeddings➔Cosine Top-K 檢索➔LLM 總結
一旦投入真實企業生產場景,往往會出現以下致命問題:
- 語義斷裂(Context Fragmentation):固定長度切塊將跨頁表格、條件列表與段落標題強行截斷,導致檢索出的片段缺乏上下文語意。
- 精確術語失真(Keyword Misses):純密集向量(Dense Vector)對特定零件型號、合約條號(如
ISO-9001:2015 條款 7.1.5)的匹配度極差,向量距離容易被常見泛用詞干擾。 - 噪音淹沒(Noise Poisoning):Top-K 檢索召回的多個片段中夾雜著無關噪音,LLM 在過長的上下文窗口中容易遭遇「迷失在中間(Lost in the Middle)」現象,產生無中生有的幻覺。
本文將系統化拆解現代進階 RAG(Advanced & Modular RAG) 的核心架構,手把手實現高精準度、可落地的生產級系統。
一、企業級進階 RAG 核心架構流向
現代企業級 RAG 將傳統的一直線流程重構為具備多階段過濾與自我校準的閉環架構:
┌─────────────────────────┐
│ 原始非結構化文件 │
│ (PDF, Word, Markdown) │
└────────────┬────────────┘
│
▼
┌─────────────────────────┐
│ 階層式 AST 語義切分 │
│ (標題階層保留 + 表格提取)│
└────────────┬────────────┘
│
┌───────────────┴───────────────┐
▼ ▼
┌──────────────────┐ ┌──────────────────┐
│ 密集向量索引 │ │ BM25 稀疏索引 │
│ (Dense Embeddings)│ │ (精確關鍵詞/型號)│
└─────────┬────────┘ └─────────┬────────┘
│ │
└───────────────┬───────────────┘
▼
┌─────────────────────────┐
│ 混合檢索與 RRF 融合分 │
│ (Reciprocal Rank Fusion)│
└────────────┬────────────┘
│ 召回前 30-50 筆候選
▼
┌─────────────────────────┐
│ 交叉編碼器重排序 (Rerank)│
│ (BGE-Reranker-Large) │
└────────────┬────────────┘
│ 精選 Top 3-5 筆高相關片段
▼
┌─────────────────────────┐
│ 上下文動態壓縮與 Prompt │
└────────────┬────────────┘
│
▼
┌─────────────────────────┐
│ 大語言模型 (LLM) 推理 │
└─────────────────────────┘
二、第一道防線:結構感知與語義切分(Document Ingestion)
垃圾進,垃圾出(Garbage in, Garbage out)。切分(Chunking)的品質直接決定了檢索召回的理論上限。
1. 拒絕固定字元長度切塊,採用 Markdown AST 階層切分
透過將非結構化文件(PDF / Word)轉換為結構清晰的 Markdown 語法,我們可以基於抽象語法樹(AST)以標題層級(#, ##, ###)為邏輯單元進行切分:
from langchain_text_splitters import MarkdownHeaderTextSplitter
markdown_document = """
# 伺服器機房管理手冊 2026
## 1. 溫濕度監控規範
機房環境應維持在攝氏 18 至 27 度之間,相對濕度應維持在 40% 至 60%。
### 1.1 異常應變措施
當主空調發生故障超過 15 分鐘,且室溫上升至 30 度時,值班工程師應立即啟動備用水冷單元。
"""
# 保留章節層級至 Chunk Metadata
headers_to_split_on = [
("#", "header_1"),
("##", "header_2"),
("###", "header_3"),
]
markdown_splitter = MarkdownHeaderTextSplitter(
headers_to_split_on=headers_to_split_on,
strip_headers=False
)
chunks = markdown_splitter.split_text(markdown_document)
for idx, chunk in enumerate(chunks):
print(f"--- Chunk {idx + 1} ---")
print(f"Metadata: {chunk.metadata}")
print(f"Content:\n{chunk.page_content}\n")
效益:每個 Chunk 的 Metadata 自動攜帶了完整章節路徑(如 header_1: "伺服器機房管理手冊 2026", header_2: "1. 溫濕度監控規範"),使模型在閱讀時永遠知曉這段文字的歸屬背景。
三、混合檢索(Hybrid Search):向量語義 + BM25 關鍵詞
密集向量(Dense Vector)擅長捕捉抽象的同義概念(如問「機房太熱怎麼辦」匹配到「異常應變措施」),但在面對產品代號(如 RTX-4090-D)或精確規格時,容易產生「語義相近但型號完全錯誤」的情況。
1. 倒數排名融合(Reciprocal Rank Fusion, RRF)
RRF 是一種不依賴不同算法原始分數絕對值的強大排序融合算法。給定一個查詢,分別由向量檢索與 BM25 產生各自的排名列表,每個文檔的 RRF 得分計算如下:
RRF 綜合評分公式:
RRF_Score(d) = Σ [ 1 / (k + r_m(d)) ]
M:檢索方法集合(密集向量 Dense Search、稀疏檢索 BM25)。r_m(d):文檔d在第m種檢索方式中的名次(從第 1 名起算)。k:平滑常數(業界標準通常設為60)。
2. 混合檢索融合代碼實戰
def reciprocal_rank_fusion(dense_ranks: list, sparse_ranks: list, k: int = 60) -> list:
scores = {}
# 計算 Dense 排名貢獻
for rank, doc_id in enumerate(dense_ranks, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + (1.0 / (k + rank))
# 計算 Sparse BM25 排名貢獻
for rank, doc_id in enumerate(sparse_ranks, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + (1.0 / (k + rank))
# 依照綜合得分由大到小排序
sorted_docs = sorted(scores.items(), key=lambda item: item[1], reverse=True)
return sorted_docs
四、第二道防線:交叉編碼器重排序(Cross-Encoder Reranker)
雙塔架構(Bi-Encoder / Dense Embeddings)在檢索時,是分別將 Query 與 Document 編碼為獨立向量,再計算餘弦相似度。這種方式速度極快,但缺少了 Query 與 Document 之間深度的詞與詞交叉注意力(Token-level Cross Attention)。
重排序模型(Cross-Encoder / Reranker) 則是將 [Query, Document] 作為一個完整的句子對輸入,讓 Transformer 的每一層進行全矩陣交叉運算,其評分精確度遠高於雙塔餘弦距離。
from sentence_transformers import CrossEncoder
# 加載頂級開源重排序模型(如 BAAI/bge-reranker-large)
reranker = CrossEncoder("BAAI/bge-reranker-large")
query = "機房溫度過高時備用設備啟動標準?"
candidate_chunks = [
"機房環境應維持在攝氏 18 至 27 度之間,相對濕度應維持在 40% 至 60%。",
"當主空調發生故障超過 15 分鐘,且室溫上升至 30 度時,值班工程師應立即啟動備用水冷單元。",
"機房每週五定期進行防火演習,所有人必須熟悉緊急逃生路徑。"
]
# 構建句子對並進行重排序評分
pairs = [[query, doc] for doc in candidate_chunks]
scores = reranker.predict(pairs)
# 配對並排序
ranked_results = sorted(zip(candidate_chunks, scores), key=lambda x: x[1], reverse=True)
for doc, score in ranked_results:
print(f"得分: {score:.4f} | 內容: {doc}")
實踐建議:在混合檢索階段大範圍召回 30 至 50 筆候選 Chunk,交由 Cross-Encoder 進行精密過濾,最終僅挑選最高分的 Top 3 至 5 筆送入大語言模型,既兼顧速度又杜絕上下文污染。
五、品質監控:使用 Ragas 框架量化評估幻覺與相關性
沒有度量,就無法優化。企業不能僅憑肉眼隨機抽查 5 條問答來斷定 RAG 系統品質。Ragas(Retrieval Augmented Generation Assessment) 是目前業界公認的端到端評估框架,主要包含四大關鍵維度:
| 評估維度 | 計算原理 | 代表意義 | 優化手段 |
|---|---|---|---|
| Faithfulness(忠實度) | 評估回答中的事實是否完全由檢索到的 Context 支撐 | 杜絕無中生有的幻覺 | 強化 System Prompt 約束、減少無關上下文 |
| Answer Relevance(答案相關度) | 評估回答是否精準回應了用戶原始 Prompt 的疑問 | 杜絕答非所問 | 微調最後生成階段的回答模板 |
| Context Precision(上下文精準度) | 評估檢索出的相關 Chunk 是否排在最前面 | 檢驗檢索與重排序品質 | 優化 Reranker 模型、調整 RRF 權重 |
| Context Recall(上下文召回率) | 評估地面真實基準(Ground Truth)所需資訊是否全部被檢索到 | 檢驗切塊與索引覆蓋度 | 調整 Chunk Size、啟用關鍵詞混合檢索 |
結論與企業落地建議
打造生產級企業 RAG 系統是一項嚴謹的軟體工程,絕非簡單調用向量庫接口即可完成:
- 初期以資料清洗為重心:將 60% 的精力投入在 PDF 解析、表格轉 Markdown、以及 AST 階層切分。
- 務必標配 Hybrid Search + Reranker:這是將企業問答準確率從 65% 拉升至 92% 以上的最具性價比架構組合。
- 建立評估測試集(Evaluation Gold Set):在業務部門上線前,收集 50 至 100 組具備標準答案(Ground Truth)的真實問答對,持續跑自動化 Ragas 評估回歸測試,方能保證每一次模型換代或切分策略更新都是穩步提升。