Escalating Costs in Training AI Models (Chinese Version Only)

刊於《信報》，2024年11月18日

AI模型投資熾熱 訓練成本暴升

許佳龍

科大商學院署理院長；資訊、商業統計及營運學系講座教授；艾禮文家族商學教授

筆者上兩周闡述和分析了ChatGPT面世，生成式聊天機械人雖則本身未接受過任何專業訓練，缺乏專業知識，唯一通曉的，是由深度學習神經網絡和轉換器技術，擷取出前人所闡述、經過溝通交流的相關專業知識和經驗，並用語言呈現出來；按照前人所用的文法詞句，照辦煮碗 ，加之以模仿各種專業，去生成所需要回答的問題內容。

明白了這個原理後，我們就可以理解，目前大家對生成式人工智能，有不少「盲點」，如生成的作答內容，往往遭人詬病為「作內容」，答案不一定準確，原因是其作答的內容，並非來自什麼精準的科學理論、科學性的預估模型，與傳統人工智能所回答的內容是建基於過去的事例，透過歸納過去的數據推理出來有所不同，而是找出相關問題經常這樣講的語言字詞，用來作出回答，因此，所作答的內容，既有機會答錯，甚至答案是「無中生有」。

答辯書虛假案例教訓

有一個經典例子，於2023年6月，美國一名律師在一宗訴訟案中，應用生成式人工智能的ChatGPT，去準備其答辯書，結果被法官發現，其答辯書所列的案例，全部是虛假的。筆者相信，這名律師未有留意ChatGPT的應答內容，並非來自真實事例或數據的特性，而是通過字和句之間的相連關係，找出相關內容答案，據此回答，以致墮入生成式人工智能「無意的陷阱」–幻覺–之中。

雖然ChatGPT彷彿像一個「百曉生」，什麼問題都可以回答，所持的「技術」，就像武俠小說家所形容的「獨孤九劍」，可以招駕任何招式，天下無敵，而生成式人工智能通過「語言處理」這門獨孤九劍絕技，用語言模仿出各種專業知識，據此回答任何提問挑戰。不過，必須謹記，其模仿絕非準確無訛，百份百正確。

予生成式AI無限應用憧憬

生成式人工智能的「百曉」廣泛技能，予人無限發展憧憬。不少機構冀用生成式AI的技能，去取代一些傳統工作，譬如取代醫生，基於醫生的診斷，也是通過語言來表達。記得當2022年ChatGPT面世後，於 2023年初，美國一份頂尖醫學期刊——《美國醫學會雜誌》(The Journal of the American Medical Association ‧JAMA)發表了一篇論文，該篇論文比較了由ChatGPT和真正醫生對病人的診斷結果內容，據此去比較兩者在診斷質素水平和同理心上的高下，比較的方法，是向兩者提出相同問題，兩者分別作答，再經一個獨立醫學專家小組作判斷，結果發現，ChatGPT在質素上和同理心上均更勝一籌。

於是，生成式人工智能可以取代醫生這個「結果」，給不少機構和市場無限憧憬，認為不少專業工作，也可以由生成式AI 來完成，不必聘用專業人才；也有不少機構，擬利用生成式 AI來取代員工的工作，節約生產成本。

在某個程度上，人工智能的確可以取代人手操作，譬如，員工所撰寫的英文文書，無論在文法和行文上，如果水準不足，甚至有明顯的文法錯誤，利用生成式AI撰寫紏正，起碼文法上和行文結構沒有錯誤，但值得再次強調，內容不一定百份百正確。換言之，一些基礎性工作，生成式 AI 可以替代人手，甚至做得可能更好，但答案有可能隱含「錯誤陷阱」。

投資熱潮隱含泡沫嗎？

如今不少不同行業的機構，正如火如荼計劃應用生成式AI來協助機構發展，冀藉此更上一層樓，甚至包括大中小學，都熱衷於發展生成式人工智能，去提升教與學的質量，當大家一窩蜂投入巨大資源，去引入生成式人工智能，但生成式AI的能力，是否無遠弗屆到能夠取代各行各業專業人手的工作，或者任何機構都必須應用生成式AI，遂不惜投入巨大資源，去訓練大語言模型？

值得注意的是一個基礎的成本效益問題，訓練大語言模型如ChatGPT，究竟成本有多大？事實上，投入開發大語言模型，成本甚高。

據美國史丹福大學「人本人工智能研究中心」（HAI）發表的《人工智能指數報告2024》（AI Index Report 2024）估計， AI 模型的訓練成本已達到前所未有的水平。例如，OpenAI 的 GPT-4 投入價值約 7800 萬美元的資源進行訓練，而谷歌的 Gemini Ultra 的資源成本高達 1.91 億美元，訓練成本暴升（參見附表）。

闡述至此，面對這股生成式 AI投資火熱浪潮，我們應該如何去分析其價值及走向，以避免再遭逢互聯網泡沫爆破的慘痛經歷，重蹈覆轍？囿於篇幅，下回討論這個問題。

資料來源：HAI：《人工智能指數報告2024》（AI Index Report 2024），頁 64及 65

【生成式AI投資火熱透視‧之三】