探索分散式人工智能 推動AI民主化進程|研之有理

更新時間:12:19 2024-11-30
發佈時間:12:19 2024-11-30

隨着「生成式人工智能」(Generative AI, GenAI)技術的快速發展,透過「大語言模型」(LLM)、「多模態大語言模型」(MLLM)和「穩定擴散」(Stable Diffusion)等技術,人工智能正逐步滲透並影響生命科學、能源、金融、娛樂等眾多行業。這些技術進步不僅加速了創新設計和個性化服務的實現,還極大提升工作流程的效率。據預測,GenAI市場規模將從2022年的400億美元,增長至未來10年的1.3兆美元。


廣泛應用的挑戰及對策

然而,GenAI的廣泛應用面臨諸多挑戰,其中之一是主要科技公司對GPU資源的壟斷,這限制了科研機構和企業的開發能力。許多機構被逼依賴API解決方案,這不僅會帶來延遲和安全風險,還限制了模型的客製化能力。此外,開源模型雖然提供了一定的靈活性,但客製化程度有限,難以充分融入特定領域的知識。這些限制阻礙了研究人員在預訓練階段的深度參與,而這一階段對於開發強大且適應領域需求的模型至關重要。

為了應對這些挑戰,並促進GenAI技術的普及化,香港理工大學正在開創一種創新的GenAI基礎設施。這一設施將使每個企業和應用能夠獨立進行GenAI模型的預訓練,並通過「模型之上的模型」(Model over Models, MoM)方法來構建基礎模型(Foundation Model)。具體來說,我們將世界知識劃分為數千個領域,並為每個領域訓練相對較小的「語言模型」(Small Language Models)。這些小模型的訓練資源需求相對較低,例如一個70億參數的模型,只需64至128張GPU卡即可進行持續預訓練(Continual Pretrain)。最終,我們可以通過MoM方法,以極低的成本構建通用人工智能(AGI)基礎模型,這大大降低了參與成本,使全球的企業和研究機構都能夠參與基礎模型的訓練。


技術創新點 革新AI領域

這項嶄新的方案革新了AI領域,使企業和應用能夠自訓GenAI模型,並通過MoM策略整合領域特定模型,以低運算成本推進通用人工智能(AGI)的發展。

首先,方案革新GenAI基礎設施,可集中利用GPU集群,減少閒置;通過「基礎設施即服務」(IaaS)連接GPU集群,平台即服務(PaaS)讓不同領域的數據,透過持續預訓練增強GenAI;創建和部署專業模型;通過應用層與IaaS和PaaS整合,度身訂造特定產業應用。

另外,通過「領域自適應持續預訓練」(Domain Adaptive Continual Pretrain, DACP)系統,持續更新現有模型,不斷加入新數據,增強靈活性,產業合作開發專業模型,並解決「災難性遺忘」(Catastrophic forgetting),即模型在學習新任務後,迅速忘記之前學習的任務。

第三,MoM模型合併架構以演化演算法,有效組合模型,以克服模型合併的限制。MoM採用了蒸餾技術,整合不同架構模型,擷取每個模型的優點,啟動開源平台促進模型的合併;建立DACP、演算法和高質素模型整合的學習範式。

最後,GenAI各種服務透過DACP,以持續更新的模型,解決訓練低效和災難性遺忘問題。

上述技術顯著提高準確率,在缺乏訓練數據領域,模型精度甚至可提高10倍,只要具備64個GPU的AI實驗室,就可參與GenAI的核心開發,推進AI民主參與。


節省大量訓練時間及成本

MoM可節省大量訓練時間和成本:只需512塊輝達H100GPU晶片,便可實現傳統MoD模型訓練的訓練水平,相等模型需2至3萬塊H100GPU,訓練成本大降98.3%。MoM將為分散式LLM奠下基礎,帶動全球參與AI創新,減少依賴高密度運算資源,激發AI創新與多元發展路徑。

我們深信,MoM建立的分散式AI實驗室,可解決當前GPU不足困境,容許研究機構和企業共謀發展,促進創新和驅動AI投入。內地和香港有不少算力資源;包括數碼港人工智能超算中心,學術和企業共建「去中心」GenAI平台,兩蒙共利,更非遙不可及。


本欄歡迎院校學者投稿,分享個人學術見解及研究成果,1400字為限,查詢及投稿請電郵︰[email protected]

文:香港理工大學電子計算學系教授楊紅霞

文章刊於《星島日報》教育版「知識轉移」。

延伸閱讀:

創新科技推動農業 邁向高質量可持續發展|研之有理

開拓海洋保育和可持續水產研究|研之有理

擁抱低空經濟產業 立足香港展望未來|研之有理

發展電動汽車產業 迎接經濟轉型契機|研之有理

發展綠色科研 推動碳中和|研之有理