封面新聞?dòng)浾?邊雪

“盡管我們的對話模型和《流浪地球》中MOSS的能力不能相提并論，但就像過去NLP領(lǐng)域的其他優(yōu)秀模型一樣，作者們都希望使用自己喜歡的影視角色名稱命名自己的模型，例如BERT、Meqatron等。”

2月20日，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)在公開平臺(tái)發(fā)布對話式大型語言模型MOSS（https://moss.fastnlp.top/），邀請公眾參與內(nèi)測。當(dāng)晚，該平臺(tái)顯示“服務(wù)器流量過載，請明天上午重試”。2月20日，封面新聞?dòng)浾咴诙啻螄L試登錄MOSS內(nèi)測版的網(wǎng)頁時(shí)，都未能成功。

【資料圖】

對此現(xiàn)象，MOSS團(tuán)隊(duì)在官網(wǎng)作出解釋：“我們最初的想法只是想將MOSS進(jìn)行內(nèi)測，以便我們可以進(jìn)一步優(yōu)化，沒有想到會(huì)引起這么大的關(guān)注，我們的計(jì)算資源不足以支持如此大的訪問量，并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒有相關(guān)的工程經(jīng)驗(yàn)，給大家造成非常不好的體驗(yàn)和第一印象，在此向大家致以真誠的歉意。”

MOSS團(tuán)隊(duì)在官網(wǎng)針對“為何測試者無法登錄網(wǎng)站”做出解釋。（圖片來源：官網(wǎng)截圖）

在公告中，研發(fā)團(tuán)隊(duì)還解釋了MOSS名字的由來。“我們在訓(xùn)練完成第一代模型的時(shí)候，正值流浪地球2熱映，片中MOSS給團(tuán)隊(duì)每個(gè)人都留下了深刻的印象，因此便使用了這樣一個(gè)名稱來指代我們的模型，以表示我們對最前沿A模型的不懈追求。”

2月20日，封面新聞?dòng)浾咴诙啻螄L試登陸MOSS內(nèi)測版的網(wǎng)頁時(shí)，都未能成功登陸。

MOSS的誕生：邱錫鵬教授團(tuán)隊(duì)

人工智能開源社區(qū)的“先行者”

根據(jù)復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院官網(wǎng)的介紹，邱錫鵬教授于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。研究方向?yàn)樽匀徽Z言處理、深度學(xué)習(xí)，發(fā)表CCF-A/B類論文70余篇，研究方向是圍繞自然語言處理的機(jī)器學(xué)習(xí)模型構(gòu)建、學(xué)習(xí)算法和下游任務(wù)應(yīng)用，包括：自然語言表示學(xué)習(xí)、預(yù)訓(xùn)練模型、信息抽取、中文NLP、開源NLP系統(tǒng)、可信NLP技術(shù)、對話系統(tǒng)等。

自從事自然語言處理研究開始，邱錫鵬便開始著手于開源工具 FudanNLP 的開發(fā)。出于對機(jī)器學(xué)習(xí)的興趣，他獨(dú)立完成了 FudanNLP 所有底層的機(jī)器學(xué)習(xí)算法。不同于當(dāng)時(shí)其他的自然語言處理工具，F(xiàn)udanNLP 是集成式的，用一套統(tǒng)一的機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)多種自然語言處理任務(wù)。FudanNLP 從底層優(yōu)化了模型的效率，在 2009年開源后，被許多算法公司所應(yīng)用。

在主持開發(fā)了開源自然語言處理工具FudanNLP之后，邱錫鵬還研發(fā)了一套基于深度學(xué)習(xí)的自然語言處理框FastNLP，同樣獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛使用。

值得注意的是，邱錫鵬也常活躍在知乎等技術(shù)社區(qū)。2月21日凌晨，邱錫鵬的知乎賬號(hào)關(guān)注了問題“復(fù)旦團(tuán)隊(duì)發(fā)布國內(nèi)首個(gè)類ChatGPT模型MOSS，將為國內(nèi)大語言模型的探索和應(yīng)用帶來哪些影響？”，目前，該問題瀏覽量已接近200萬。據(jù)知乎用戶表示，該問題已邀請邱錫鵬回答，但截至發(fā)稿，邱錫鵬并未對該問題作任何回復(fù)。

MOSS雖不成熟

但未來可期

據(jù)悉，MOSS開發(fā)的過程包括自然語言模型的基座訓(xùn)練、理解人類意圖的對話能力訓(xùn)練兩個(gè)階段。不同之處在于，邱錫鵬教授團(tuán)隊(duì)采用了不同的技術(shù)路線，通過讓MOSS和人類以及其他對話模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)就高效完成了對話能力訓(xùn)練。

據(jù)上觀新聞報(bào)道，MOSS可執(zhí)行對話生成、編程、事實(shí)問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。因?yàn)镸OSS的模型基座學(xué)習(xí)了3000多億個(gè)英文單詞，中文詞語只學(xué)了約300億個(gè)，所以相較于中文，英文指令更能展示MOSS多輪交互、表格生成、代碼生成和解釋能力。

MOSS內(nèi)測版的出現(xiàn)，無疑將為國內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn)，將助力大語言模型的進(jìn)一步探索和應(yīng)用。邱錫鵬在接受采訪時(shí)表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)。”

21日，復(fù)旦復(fù)華(600624.SH)開盤即漲停，截至發(fā)稿，該股報(bào)6.78元，漲停板上封單近15萬手。復(fù)旦復(fù)華隨后表示，MOSS為復(fù)旦大學(xué)研發(fā)，與公司無關(guān)。目前公司的主營業(yè)務(wù)為生物醫(yī)藥、軟件和園區(qū)三大板塊，未參與MOSS研發(fā)。封面新聞?dòng)浾咴谥码姀?fù)旦復(fù)華公司詢問該公司是否參與MOSS研發(fā)時(shí)，工作人員表示并不清楚。

想做出ChatGPT這樣的“出圈”的產(chǎn)品，足夠的算力、?模型工程化的人才和完整的產(chǎn)業(yè)生態(tài)缺一不可，據(jù)悉，MOSS研發(fā)項(xiàng)目已得到了上海人工智能實(shí)驗(yàn)室的有力支持，相信人類與MOSS流暢對話的那天，不會(huì)等的太晚。

標(biāo)簽：