“悟道3.0”大模型系列成果亮相北京智源大會

6月9日-10日，“北京智源大會”在中關村國家自主創(chuàng)新示范區(qū)會議中心舉行。智源研究院院長黃鐵軍發(fā)布《2023智源研究院進展報告》，并發(fā)布了全面開源的“悟道3.0”系列大模型及算法。

200余位人工智能頂尖專家云集北京智源大會，探討通用人工智能發(fā)展面臨的機遇與挑戰(zhàn)。主辦方供圖

智源“悟道3.0”進入全面開源新階段

(資料圖片僅供參考)

2021年3月，在悟道1.0發(fā)布會上，智源研究院研判人工智能已經(jīng)從“大煉模型”轉(zhuǎn)變?yōu)椤盁挻竽Ｐ汀钡男码A段，從此，“大模型”這個概念進入公眾視野。2021年6月1日，“悟道2.0”模型發(fā)布，其參數(shù)規(guī)模達到1.75萬億，是當時中國首個、全球最大的萬億級模型。

何為大模型？黃鐵軍認為需要具備三個條件：一是規(guī)模要大，參數(shù)達百億規(guī)模以上；二是涌現(xiàn)性，能夠產(chǎn)生預料之外的新能力；三是通用性，不限于專門問題或領域，能夠處理多種不同的任務。

如今，該系列模型已發(fā)展到“悟道3.0”版本，涵蓋語言、視覺、多模態(tài)等基礎大模型，現(xiàn)在已全面開源，帶來一系列領先成果，包括“悟道·天鷹”（Aquila）語言大模型系列、天秤（FlagEval）開源大模型評測體系與開放平臺、“悟道 · 視界”視覺大模型系列，以及一系列多模態(tài)模型成果。

“天秤”協(xié)助研究人員評估基礎模型及訓練算法性能

為推動大模型產(chǎn)業(yè)落地和技術(shù)創(chuàng)新，智源研究院發(fā)布“開源商用許可語言大模型系列+開放評測平臺” 兩大成果，打造“大模型進化流水線”，持續(xù)迭代、持續(xù)開源開放。

其中，“悟道·天鷹”（Aquila）語言大模型是首個具備中英雙語知識、支持商用許可協(xié)議、國內(nèi)數(shù)據(jù)合規(guī)需求的開源語言大模型。其在中英文高質(zhì)量語料基礎上從0開始訓練，通過數(shù)據(jù)質(zhì)量的控制、多種訓練的優(yōu)化方法，實現(xiàn)在更小的數(shù)據(jù)集、更短的訓練時間內(nèi)，獲得比其他開源模型更優(yōu)的性能。

天秤（FlagEval）開源大模型評測體系與開放平臺，旨在建立科學、公正、開放的評測基準、方法、工具集，協(xié)助研究人員全方位評估基礎模型及訓練算法的性能，同時探索利用AI方法實現(xiàn)對主觀評測的輔助，大幅提升評測的效率和客觀性。

目前已推出語言大模型評測、多國語言文圖大模型評測及文圖生成評測等工具，并對各種語言基礎模型、跨模態(tài)基礎模型實現(xiàn)評測。后續(xù)將全面覆蓋基礎模型、預訓練算法、微調(diào)算法等三大評測對象，包括自然語言處理（NLP）、計算機視覺（CV）、音頻（Audio）及多模態(tài)（Multimodal）等四大評測場景。

“天演”接入天河新一代超級計算機，提升神經(jīng)元網(wǎng)絡仿真性能

智源研究院還在AI for Science領域進行探索，通過人工智能與基礎科學深度融合的嶄新科研范式，延展不同科學領域的探索邊界。在相關研究中，智源團隊在生命演化和蛋白質(zhì)結(jié)構(gòu)預測方向作出了成果。

據(jù)悉，OpenComplex是智源健康計算研究中心打造的面向生物大分子的開源人工智能算法平臺，目前已開源蛋白質(zhì)、RNA以及復合物的高精度結(jié)構(gòu)預測訓練和評測代碼。

去年智源大會發(fā)布了最高精度的仿真線蟲?，F(xiàn)在，智源開放仿真線蟲研究所使用的“天演”平臺，提供在線服務。天演是超大規(guī)模精細神經(jīng)元網(wǎng)絡仿真平臺，基于該平臺，可實現(xiàn)對生物智能進行高精度仿真，探索智能的本質(zhì)，推動由生物啟發(fā)的通用人工智能。

為提升神經(jīng)系統(tǒng)仿真規(guī)模與性能，天演團隊將天演接入我國新一代百億億次超級計算機——天河新一代超級計算機。通過“天演-天河”的成功運行，實現(xiàn)鼠腦V1視皮層精細網(wǎng)絡等模型仿真，計算能耗均可降低約10倍以上，計算速度實現(xiàn)10倍以上提升，達到全球范圍內(nèi)最極致的精細神經(jīng)元網(wǎng)絡仿真性能。

新京報記者 張璐

編輯 劉夢婕 校對 吳興發(fā)