Graph RAG－RAG結合知識圖譜之技術解析及應用

一、前言

大型語言模型（Large Language Models，簡稱LLM）不斷推陳出新，朝往多模態（Large Multimodal Model，簡稱LMM）發展，如Open GPT-4o、Meta Llama 3.2等，市面上也出現不少基於LLM技術的AI工具和解決方案。由於LLM的運作方式是透過語意匹配檢索（Semantic Matching）去預測出現機率最高的下個字詞，並非真正理解語言背後的意涵，加上用於LLM訓練數據有時間範圍和領域之限制，並非即時更新，導致企業內部在使用LLM時，往往會因LLM缺乏產業或業務領域知識，出現幻覺亂回答的狀況。為了讓LLM更理解公司的業務場景和產業知識，以改善出現幻覺的問題，目前企業常見的作法有三種：提示工程、RAG向量檢索和微調模型。

基於成本效益和AI技術能力之考量，多數企業是「提示工程」和「RAG向量檢索」一起搭配使用。其中，檢索增強生成（Retrieval-Augmented Generation，簡稱RAG）是一種結合「索引（將文件做向量編碼，寫入向量資料庫，又稱向量嵌入）」、「檢索（使用相似性查詢）」與「生成（將檢索的結果上下文和接收到的問題一起提交給LLM處理）」的技術。此作法之目的在於讓AI模型生成答案之前，先去檢索相關資料，再根據這些資料進行回答，以確保AI模型基於最新或相關的資訊來產生回應，避免答非所問或編撰錯誤內容的狀況。

資料來源：MIC，資策會MIC ITIS研究團隊整理（2024/11）。

圖1　將產業知識整合到大型語言模型，以提升回答品質的三種常見作法

二、 Graph RAG定義與核心技術

傳統RAG主要依靠向量資料庫（Embedding）和語義相似度進行檢索，因此在面對多層次、複雜的數據關係時可能會丟失關鍵上下文，而產生與問題無關的結果。而傳統RAG基於相似度檢索的結果也缺乏直接的語義解釋，回應的生成過程較難追溯，可解釋性較差。此外傳統RAG檢索文本塊（Text Chunks）的能力有限，當提供給LLM檢索的資料量過多時，無法涵蓋到所有內容，僅能檢索到與問題相關性較高的部分內容，使得LLM提供的答案不夠完整。而Graph RAG將RAG結合知識圖譜技術，能識別複雜的語義關聯，具備更好的上下文理解能力，可改善上述傳統RAG遇到的瓶頸。

Graph RAG是知識圖譜（Knowledge Graph）加上檢索增強生成（Retrieval-Augmented Generation）的縮寫，是一種利用知識圖譜（也可說是圖形資料庫Graph Databases）來優化RAG的技術。和傳統RAG的主要差異在於Graph RAG會在AI檢索資料的路徑中，基於知識圖譜中的已知關聯進行推理，讓LLM能更具備對資料的全局觀以及深度理解領域知識，減少回應中虛構或不準確的部分。此外，Graph RAG亦能提供知識圖譜中每個節點的來源資訊，透過使用結構化的資料節點追溯回應的邏輯來源，可大幅提升LLM回答的可靠性。

資料來源：Linkurious、neo4j、MIC，資策會MIC ITIS研究團隊整理（2024/11）。

圖2　傳統RAG和Graph RAG之差異比較

Graph RAG核心技術包含向量檢索和知識圖譜，向量檢索是一種將資料（如文字、圖像等）轉換為數學向量（Vector），並利用向量之間的相似性進行檢索的技術。知識圖譜是一種結構化的知識表示方式，由不同實體（Entities）和它們之間的關係（Relationships）所組成的網絡，讓各種資訊能夠以清晰的方式串連起來；其中，實體通常代表一個具體的概念，如人、地點、產品等，關係則是用來描述不同實體之間的連結，舉例來說「J·K·羅琳」是「哈利波特」的作者、「哈利波特」的出版商「Bloomsbury」、「Bloomsbury」是一家「英國」公司、「J·K·羅琳」為「Bloomsbury」公司工作，就呈現實體之間的連結關係。

三、 Graph RAG流程與運作方式

企業若要使用Graph RAG技術，需要先把資料源進行預處理，將資料內容先建構成一個知識圖譜的結構，以有助於LLM從大量未結構化文本中提取出最相關且有用的知識，支援企業獲得更精確地回答和加快決策過程。建置Graph RAG的流程說明如下：

（一） 將資料來源進行切塊（chunks）處理

將長文本分塊有助於在LLM記憶範圍內能保留足夠的上下文，以及LLM在處理大規模的文本資料庫時，可以只搜索相關的文本塊，而非整篇文件，不僅能減少LLM的記憶負荷，亦可大幅提高處理速度，及增加生成回應的準確性和穩定性。

（二）從文本塊中擷取「實體（Entities）」和「關係（Relationships）」

每個文本塊（Text Chunks）擷取出用來建構知識圖譜的二大元件：實體和關係。舉例來說，若有個文本塊的內容為「Elon Musk is the CEO of SpaceX and Tesla. And the headquarters of both are in the USA.」，其中的五個基本實體單位（亦稱作Element instances）分別會是Elon Musk、SpaceX、Tesla、USA，而這些實體之間的關係描述會像是「Elon Muskthe CEO ofSpaceX」、「SpaceXheadquarter inUSA」以此類推。

（三） 彙整所有「實體（Entities）」和「關係（Relationships）」之描述並進行分類，形成知識圖譜架構

實體和關係以一個比較完整的描述摘要呈現後會形成「Element Summaries」，例如「Elon Musk is the CEO of SpaceX, which is located in the USA」。接著再將多個「Element Summaries」分類分群後，便能構建出一個知識圖譜網絡結構「Graph Communities」。後續當LLM接收到問題後，便會先去檢索知識圖譜中的各個communities獲得局部最相關的答案，再整合成一個整體回答提供給發問者。

資料來源：Microsoft、MIC，資策會MIC ITIS研究團隊整理（2024/11）。

圖3　 知識圖譜建置流程與Graph RAG運作方式

由於Graph RAG能讓LLM有更好的上下文理解力和推理解釋性，企業對於使用Graph RAG技術來強化LLM學習特定領域知識、理解企業業務流程的需求也逐漸增加，三大雲端服務商分別推出Amazon Neptune圖形資料庫、Google Spanner Graph圖形資料庫、Microsoft Graph RAG先進的RAG工具，來支援其客戶能基於自家的LLM平台服務，部署進階的Graph RAG技術，擴展更多生成式AI衍生應用。

此外，圖形資料庫服務商如Neo4j、ArangoDB、TigerGraph等、商業軟體大廠如SAP、Oracle等也積極運用其核心產品優勢，提供客戶可建置Graph RAG的相關工具和輔助功能，輔助客戶創造更多的數據和領域知識商業價值，及運用LLM解決更複雜的業務問題，如強化電商平台推薦系統、提升供應鏈可見度等。

四、 Graph RAG應用案例解析

Graph RAG技術目前較常被應用在AI Agent客服機器人，包含服務外部客戶和內部員工。以商業軟體大廠SAP為例，其於2023年所推出AI Agent服務「Joule」，便是以SAP知識圖譜作為問答結構基礎。SAP知識圖譜的資料源涵蓋來自SAP核心產品模組和第三方系統之大量業務數據，約有45萬個核心業務數據表格、8萬個數據分析圖表和730萬個字詞等，讓使用者可以直接在SAP商業平台上解決各種複雜的業務問題。如：當業務想知道台灣各地的產品銷售狀況，Joule可以識別表現不佳的區域，讓業務即時掌握銷售業績狀況；製造商被通知可能會缺貨，想知道供應鏈的現況，Joule會自動連接到供應鏈系統及其他和供應鏈問題有關的資料集，並提供可能的替代方案，讓製造商可快速審查決策等。

SAP AI Agent（Joule）結合Graph RAG的運作方式如下圖4，當SAP使用者向Joule提出查詢需求或問題時，Joule會先將問題進行語義分析，再利用是先定義好的語義關係生成Query，傳送到SAP知識圖譜提取出與問題相關的背景知識和數據，並經由LLM生成答案後回覆給使用者，答案內容更全面、具準確性。

資料來源：SAP、MIC，資策會MIC ITIS研究團隊整理（2024/11）。

圖4　 SAP AI Agent結合Graph RAG之應用

此外，SAP也在SAP Integration Suite和SAP Business Technology Platform開發平台，新增Graph RAG技術框架支援，讓客戶也能在該平台上自行開發其他更符合自身需求的LLM-Based應用程式或AI Agent客服／員工助理，如：開發一個ESG Agent可透過LLM技術來檢測ESG報告書中是否有供應商杜撰的虛假內容，防範廠商漂綠行為（greenwashing）。

微軟於2024年進一步推出「Agentic-GraphRAG」開源框架，它是一種透過函數調用多代理系統（multi-agent systems）和圖形資料庫檢索（Graph RAG）的程式碼集成。微軟將GraphRAG整合至AutoGen（可構建多代理協作的開源框架）、Ollama（用來地端設備運行LLM的開源工具）和Chainlit（用於加速生成式 AI 應用開發的工具平台）等技術工具，建構出一個可支援多代理並驅動地端LLM應用的系統（multi-agent systems）。此系統能在地端環境下執行數據處理與情境回應，無須連網即可完成複雜的互動需求，可避免連網帶來的隱私風險和費用。

資料來源：Microsoft、Github、MIC，資策會MIC ITIS研究團隊整理（2024/11）。

圖5　微軟Agentic-GraphRAG技術框架

五、 結論

Graph RAG雖然可補強傳統RAG未具備的深層語義和上下文理解能力，但知識圖譜的構建是一個高成本和高技術門檻的工作，需要透過專業語義分析工具來進行。即使現在可利用LLM來輔助，但對應模型所耗用的token費用不容小覷，如：SAP分享其透過GPT-4.0建置知識圖譜的經驗，提到每輸入2,200的英文字詞成本約0.46-0.48美元。此外，知識圖譜也需要定期更新來確保LLM的回應品質，而圖譜的更新過程亦相當耗時又複雜。整體而言，現階段Graph RAG的導入和維護成本比傳統RAG高，是多數企業短期內仍採用傳統RAG之主因，因此Graph RAG在資料更新機制和建置成本方面，未來仍有很大的優化空間。