刊於《信報》，2025年4月14日
大模型度身訂造 兩方案可供選擇
許佳龍
科大商學院署理院長；資訊、商業統計及營運學系講座教授；艾禮文家族商學教授
筆者前文討論了機構使用AI語言大模型須知的要點，第一是，只要我們把像DeepSeek這類開源大模型整個下載到自身的伺服器上應用，機構或企業的私隱和機密信息外洩風險憂慮，其實不用擔心，但這種下載應用的場景有限。
第二是，機構若想擁有一個自身適切應用的大模型，「度身訂造」（customize ）一個可配合機構自身發展需要，或可供行業板塊專門領域的應用，可有什麼選擇方案？本文續談這個問題。
在基礎大模型進行微調
在目前人工智能世界，有兩個應用方案可供選用。第一個選擇，是我們稱為「微調」（Fine-tuning）方案。通過微調模型參數，重新訓練一個新的大模型，讓AI大語言模型的輸出，切合我們的預期。不過，相對其他方案選擇，微調方案的成本最高。
具體來說，我們把相關大模型的開源程序下載了後，在這個開源程序的文檔上，再進行數據訓練，但在訓練過程中，採用大量與自身相關的特定數據，對這個模型作出微調甚或強化學習（reinforcement learning），使模型的輸出反應，能夠切合特定任務或專門領域的提問。以醫療行業為例，如果機構想做出一個醫療諮詢服務的大模型，便需要採用大量與醫療相關的數據、文獻和過去的醫療個案紀錄，亦即使用專門特定的文檔數據，在應用對象的基礎模型進行微調訓練，使之能夠完成特定的任務，有效回答出特定或專門行業的相關問題。
微調方案的好處，是可以針對或因應個別行業的需求，訓練出一個機構或企業可「專用」的大模型，切合到機構或企業的發展所需；而壞處則是訓練成本相對高，雖然可能較預訓一個基礎大語言模型為輕，但耗用的訓練成本也不菲。據媒體報導，杭州深度求索人工智能基礎技術研究有限公司，利用技術創新開發DeepSeek大模型，耗用了約 500萬美元。由於微調本身仍然需要足夠的經驗和技術，亦需要足量的晶片算力，以至需要管理及開發成本，因而微調一個大模型所花的成本，也可能動輒以百萬單位計。因此，對於一般機構或企業來說，微調未必是一個最理想或可負擔的選擇。
自建文檔數據庫
另一個可供選擇的方案，我們稱之為「檢索增強生成」（Retrieval-augmented generation‧RAG）。目前，在網上也有供應商提供這種RAG服務。顧名思義，「檢索增強生成」是賦予生成式人工智能模型檢索信息能力的技術，據此對大型語言模型輸出進行優化。其背後的概念，簡單來說，是我們依然採用一個通用語言大模型，譬如用DeepSeek-R1這個基礎版本，但我們把這個通用大模型，配合到我們自身建構的一個文檔數據庫中。筆者再以醫療行業為例說明，首先，我們建構一個龐大而相關的醫療文檔數據庫，然後通過這個數據庫的程式介面（Application Programming Interface‧API），去接入到這個大模型之中，讓大模型直接在這個特定文檔數據庫中，找尋並提取相關信息資料，作出輸出回應。
換言之，利用「檢索增強生成」技術，使這個大模型在接收到用戶的提問後，運用這個特定和具專業權威的數據庫，生成相關專門或特定領域的回應。事實上，通用大語言模型用了海量數據進行訓練，運用了幾千億個參數，為回應用戶的提問、翻譯以至生成文章的要求，生成出適切的回應輸出。可以說，RAG是在大型語言模型強大的功能基礎上，將其檢索能力擴展為能夠訪問特定領域、或組織的內部知識數據庫，以生成相關的回答。
RAG優化基礎大模型輸出
很顯然，RAG是一種有效優化大語言模型輸出的方法，運用RAG，使大模型能夠為機構或特定行業生成適切、具準確性和配合自身機構或特定領域的回應輸出。相對微調方案，RAG方案的成本為低。
對一些機構或企業來說，這可能是一個可取的選擇方案。因為不需要重新訓練大模型，只採用一個通用大模型，隨後所需要做的工作和投入，是建立一個自身的數據庫，通過一個程式介面，接入去這個通用大模型之中即可。
從目前所見，大部AI大語言基礎模型服務供應商，都有提供RAG服務，包括微軟的Copilot；阿里巴巴的通義千問，這類大模型平台公司，大都開發了RAG這方面的配套服務或工具，而且也有這些程式介面，讓用戶直接建構與機構自身或專業相關的「領域特定數據」（Domain specific data）文檔，再配合這些平台上的大語言模型，機構或企業據此可完成取得RAG應用。不過， RAG的應用方案也不是毫無問題，囿於篇幅，另文續談。