紅星資本局8月16日消息，日前，天津大學(xué)自主研發(fā)的“伏羲傳語”多語言大模型正式發(fā)布并開源。
“大語言模型在各類任務(wù)中表現(xiàn)出了強(qiáng)大的能力，然而，許多大模型在應(yīng)對不同語言時(shí)并不會表現(xiàn)出均衡的能力，這通常與預(yù)訓(xùn)練的語料數(shù)據(jù)的配比有關(guān)。多數(shù)基準(zhǔn)測試表明，大模型在多語言能力上仍然存在不足，尤其是面對低資源語言時(shí)?！毖邪l(fā)團(tuán)隊(duì)負(fù)責(zé)人、天津大學(xué)智能與計(jì)算學(xué)部教授、博士生導(dǎo)師熊德意告訴紅星資本局，該模型采用了多語言預(yù)訓(xùn)練數(shù)據(jù)均衡策略，以應(yīng)對大模型在不同語言間的性能差異問題及低資源語言性能低的挑戰(zhàn)。
熊德意介紹，模型完全從頭開始訓(xùn)練，研發(fā)團(tuán)隊(duì)完成了大規(guī)模多語言數(shù)據(jù)的收集和處理、8B基座模型預(yù)訓(xùn)練、指令對齊訓(xùn)練及多語言基準(zhǔn)測評全過程。預(yù)訓(xùn)練數(shù)據(jù)來源涵蓋互聯(lián)網(wǎng)、書籍、論文、百科、代碼數(shù)據(jù)。此次預(yù)訓(xùn)練使用了研發(fā)團(tuán)隊(duì)收集的28萬億詞元數(shù)據(jù)中的6060億詞元數(shù)據(jù)。
除了基座模型FuxiTranyu-8B，伏羲傳語還推出了兩個(gè)指令微調(diào)模型：FuxiTranyu-8B-SFT及FuxiTranyu-8B-DPO。前者在多樣化的多語言指令數(shù)據(jù)集上進(jìn)行了有監(jiān)督指令微調(diào)，后者則在人類偏好數(shù)據(jù)集上通過DPO技術(shù)進(jìn)一步增強(qiáng)了模型的對齊能力。相比基座模型，指令微調(diào)模型在多語言能力、對齊能力上得到了顯著的提升，能夠更好地遵循人類指令，生成的回復(fù)更符合人類價(jià)值觀。
紅星資本局了解到，伏羲傳語大模型支持“一帶一路”沿線、亞洲及歐洲多個(gè)國家及地區(qū)的語言，合計(jì)43種，包括漢語、英語、阿拉伯語、葡萄牙語等富資源語言，以及孟加拉語、緬甸語、泰米爾語等低資源語言，覆蓋漢藏語系、印歐語系、亞非語系等10大語系。除此之外，伏羲傳語還支持C++、Java、C、C#、Python等16種編程語言。
據(jù)悉，為了進(jìn)一步推進(jìn)多語言大模型的研究與應(yīng)用，研發(fā)團(tuán)隊(duì)已將伏羲傳語基座模型、指令微調(diào)模型及58個(gè)預(yù)訓(xùn)練檢查點(diǎn)在 HuggingFace平臺上開源。
用戶評論