第六屆世界互聯(lián)網(wǎng)大會“世界互聯(lián)網(wǎng)領(lǐng)先科技成果發(fā)布活動”2019年10月20日下午17:00在烏鎮(zhèn)互聯(lián)網(wǎng)國際會展中心烏鎮(zhèn)廳舉行。圖為統(tǒng)一自然語言預(yù)訓(xùn)練模型與機器閱讀理解成果發(fā)布。

2019年，微軟公司發(fā)布了最新的預(yù)訓(xùn)練語言模型的研究成果稱為統(tǒng)一預(yù)訓(xùn)練語言模型。該模型有兩個非常重要的技術(shù)創(chuàng)新：提出了統(tǒng)一的預(yù)訓(xùn)練框架和部分自回歸預(yù)訓(xùn)練范。統(tǒng)一預(yù)訓(xùn)練模型在一系列的自然語言理解和生成任務(wù)均取得了領(lǐng)先的實驗結(jié)果。

機器閱讀理解是一個經(jīng)典并且非常具有挑戰(zhàn)的問題，這領(lǐng)域發(fā)展尤為迅速，除了端對端的神經(jīng)網(wǎng)絡(luò)模型和預(yù)訓(xùn)練語言模型的突破之外，大規(guī)模數(shù)據(jù)集也起到了非常重要的推動作用。