2021年1月11日，北京智源人工智能研究院發(fā)布面向認知的超大規(guī)模新型預訓練模型“文匯”，旨在探索解決當前大規(guī)模自監(jiān)督預訓練模型不具有認知能力的問題，這一項目由智源研究院發(fā)起的“悟道”攻關團隊完成。

“文匯”模型不僅使用數(shù)據(jù)驅(qū)動的方法來建構(gòu)預訓練模型，還將用戶行為、常識知識以及認知聯(lián)系起來，主動“學習”與創(chuàng)造。本次發(fā)布的“文匯”模型與1月初OpenAI剛剛發(fā)布的DALL·E和CLIP這兩個連接文本與圖像的大規(guī)模預訓練模型類似，“文匯”模型能夠?qū)W習不同模態(tài)(文本和視覺領域為主)之間的概念，可以實現(xiàn)“用圖生文”等任務，具有一定的認知能力。“文匯”模型參數(shù)規(guī)模達113億，僅次于DALL·E模型的120億參數(shù)量，是目前我國規(guī)模最大的預訓練模型，并已實現(xiàn)與國際領先預訓練技術的并跑。

智源研究院學術副院長、清華大學計算機系唐杰教授認為，GPT-3等超大型預訓練模型在處理復雜的認知推理任務上，例如開放對話、基于知識的問答、可控文本生成等，結(jié)果仍然與人類智能有較大差距。智源研究院院長、北京大學信息技術學院黃鐵軍教授指出，“文匯”模型針對性地設計了多任務預訓練的方法，可以同時學習文→文、圖→文以及圖文→文等多項任務，實現(xiàn)對多個不同模態(tài)的概念理解。經(jīng)過預訓練的“文匯”模型不需要進行微調(diào)就可以完成“用圖生文”等任務，對模型進行微調(diào)則可以靈活地接入如視覺問答、視覺推理等任務。

“文匯”模型應用即將上線

目前，“文匯”已支持基于認知推理的多種自然語言及跨模態(tài)應用任務，部分應用即將與搜狗、阿里巴巴、學堂在線、智譜.AI、循環(huán)智能等機構(gòu)合作上線。目前已有四個樣例應用可用于展示模型效果。

(一)基于上傳圖片的開放域問答

本應用基于圖片文本的多模態(tài)認知預訓練百億模型，可以支持用戶上傳圖片后，針對圖片內(nèi)容進行提問或生成圖片的一句話描述。如上傳圖片后詢問“圖片中的電腦在水杯的什么位置?”或“生成對應商品圖片的一句話描述”。將于未來大規(guī)模應用于阿里的電商場景。

(二)Talk to Data，用語言操作數(shù)據(jù)可視化

本應用基于數(shù)據(jù)可視化技術，通過將自然語言轉(zhuǎn)化為可視化查詢語句，從而達到“上傳圖表，輸入指令，輸出可視化圖像”的功能目標。只需要一句自然語言的話，就可以實現(xiàn)數(shù)據(jù)的可視化自動統(tǒng)計與查詢。

(三)基于預訓練語言模型的詩詞創(chuàng)作應用

本應用可以基于輸入的詩歌題目、朝代、作者，生成仿古詩詞。與傳統(tǒng)基于規(guī)則或監(jiān)督學習的詩歌生成不同，這個應用創(chuàng)作的詩歌來自于自然語言的生成，且無標注數(shù)據(jù)進行fine-tune，并且可以模仿任意詩人創(chuàng)作任意新穎題目的詩歌。

下面是基于模型自動作詩的結(jié)果：

贈抗疫英雄

君王歌里贈英雄，百萬雄師劈毒煙。

況是人民勤努力，更加眾志與國捐。

團結(jié)團結(jié)再團結(jié)，萬眾一心戰(zhàn)瘟神。

沔水橋邊香霧起，暗送瘟神過漢陽。

(四)可控人設的開放域問答

本應用支持用戶上傳問題，并生成具有人物角色風格的定制化文本回答。與傳統(tǒng)的開放式問答不同，“文匯”模型生成的答案具有人設的語言特色，問答內(nèi)容趣味橫生。目前該應用將計劃在搜狗的問答場景中使用。

“悟道”項目下一步研發(fā)計劃

目前，“悟道”項目研究團隊正在視覺等更廣泛的范圍內(nèi)，對大規(guī)模自監(jiān)督預訓練方法開展探索研究，已經(jīng)啟動了四類大規(guī)模預訓練模型研制，包括“文源”(以中文為核心的超大規(guī)模預訓練語言模型)、“文匯”(面向認知的超大規(guī)模新型預訓練模型)、“文瀾”(超大規(guī)模多模態(tài)預訓練模型)和“文溯”(超大規(guī)模蛋白質(zhì)序列預訓練模型)。2020年11月14日，智源研究院已發(fā)布了“文源”(以中文為核心的超大規(guī)模預訓練語言模型)第一階段26億參數(shù)規(guī)模的中文語言模型。下一步，智源研究院將聯(lián)合優(yōu)勢單位加快四類大規(guī)模預訓練模型的研發(fā)進度。特別是“文匯”模型，未來將著力在多語言、多模態(tài)條件下，提升完成開放對話、基于知識的問答、可控文本生成等復雜認知推理任務的能力，使其更加接近人類水平。計劃在今年6月實現(xiàn)“中文自然語言應用系統(tǒng)”“基于圖文增強和知識融入的圖文應用系統(tǒng)”“基于認知的復雜認知系統(tǒng)”等一批各具特色的超大規(guī)模預訓練模型，以期達到對國際領先AI技術的趕超，盡快實現(xiàn)我國在國際AI前沿技術研究的領跑。

關鍵詞： 超大規(guī)模新型預訓練模型