5月10日,F(xiàn)acebook發(fā)布了一項新的機器翻譯技術,使用CNN技術而非傳統(tǒng)的RNN,在翻譯準確度超越了此前被認為是2016年10大AI突破技術的谷歌機器翻譯,并且翻譯速度上快了9倍。Facebook稱,在速度上,新的機器翻譯系統(tǒng)創(chuàng)下新的世界紀錄。 本文帶來對基于神經網絡的機器翻譯(NMT)技術的研究狀況介紹和對比。我們看到:這一技術在過去兩年中已經成為AI 界的一個熱點研究,在未來還會更加火熱。
學術界對神經機器翻譯(NMT)的研究興趣不減。今年到5月份為止,在開放存取論文網站 arXiv.org 上發(fā)表的有關 NMT 的研究論文數(shù)量幾乎相當于2016年全年的該主題論文數(shù)量。這個數(shù)字印證了我們在去年底預測的趨勢。
截至5月7日,arXiv.org 存儲庫中在標題或摘要中包含 NMT 的論文共有137篇,其中2014年發(fā)表的只有7篇,2015年增加到11篇。發(fā)生突破的是2016年,發(fā)表的論文達到67篇。
NMT,或稱基于神經網絡的機器翻譯方法,被視為是基于短語的統(tǒng)計機器翻譯(SMT)和更早以前的基于規(guī)則的方法的一個突破。
雖然有許多研究和比較評估指出 NMT 在實現(xiàn)更流暢的翻譯結果方面有優(yōu)勢,但該技術仍處于研究的初級階段,許多有趣的研究方向正在繼續(xù)展開。
大多數(shù)NMT研究者來自美國
到本文發(fā)布為止,2017年提交到 arXiv 的 NMT 主題下的論文的作者涉及全球范圍的173名研究者,其中大多數(shù)(63名)來自美國的大學或研究機構。
最高產的作者是 Kyunghyun Cho,紐約大學計算機科學系,庫朗數(shù)學研究所的助理教授。去年一年,Cho 的淪為得到14次引用。
Cho 作為共同作者的論文一共三篇,分別是:《Nematus:一個神經翻譯工具包》,《學習句法分析和翻譯改進 NMT》,以及《可訓練的NMT的貪婪解碼》,協(xié)作者包括來自愛丁堡大學,海德堡大學和歐洲蘇黎世大學的研究人員, 東京大學和香港大學, 以及土耳其中東技術大學。
除 Cho 之外,還有62位來自九所美國大學的研究人員在 arXiv 公布了他們在 NMT 方面的研究,這九所大學分別是:加州大學伯克利分校,CMU,紐約大學,麻省理工學院計算機科學與人工智能實驗室,劍橋大學,斯坦福大學,佐治亞理工學院,約翰霍普金斯大學,以及哈佛大學。
來自歐洲的61位研究者也在這一主題下發(fā)表了大量論文,作者的國籍包括:英國(18),德國(11),愛爾蘭(13)和荷蘭(7)。
來自亞洲的有58篇NMT主題的論文,主要來自中國(包括香港和臺灣)31篇,日本22篇,韓國3篇以及新加坡2篇。
來自美國科技巨頭的研究團隊,例如Facebook Research、谷歌大腦、IBM Watson、英偉達(NMT 運行于其GPU 芯片之上)以及機翻技術先驅SYSTRAN 也一直在向arXiv 貢獻研究成果。
例如,來自谷歌大腦研究人員的論文提供了有關構建和擴展 NMT 架構的洞見,并提供了一個開源的 NMT 框架來驗證結果。
哈佛和 SYSTRAN 的研究者介紹了一個開源的 NMT 工具包 OpenMT,它提供了一個用于訓練和部署神經機器翻譯模型的庫。他們表示,該工具包將進一步發(fā)展,“在研究前沿保持強大的 MT 成果”,為產出類應用提供了穩(wěn)定的框架。
NMT,數(shù)學遇見語言
Facebook 于2017年5月9日宣布,正在開源其 NMT 模型,并有一篇關于論文 發(fā)在 arXiv 上。 該論文以《神經機器翻譯學習聯(lián)合多語言句子表征》為題(Learning Joint Multilingual Sentence Representations with Neural Machine Translation),由其 AI 研究團隊的兩名成員與 the Informatics Institute – University of Amsterdam 和 the Middle East Technical University 的其他兩位研究人員合作撰寫。
在亞洲,中國互聯(lián)網供應商騰訊今年有兩篇論文貢獻出來。 一篇來自其深圳的 AI Lab(《神經機器翻譯源句法建模》(Modeling Source Syntax for Neural Machine Translation)); 另一篇,來自騰訊移動互聯(lián)網部門(《使用線性關聯(lián)單位的深度神經機器翻譯》(Deep Neural Machine Translation with Linear Associative Unit)),這是和蘇州大學、中國科學院及都柏林大學的聯(lián)合研究。
北京的微軟亞洲研究院今年也開始進行 NMT 方面的研究。本月剛上傳了兩篇論文(《對抗神經機器翻譯》(Adversarial Neural Machine Translation)和《MAT:圖像字幕多模態(tài)轉換器》(MAT: A Multimodal Attentive Translator for Image Captioning))。
微軟自己的研究人員與中國科技大學、臺灣中山大學,廣東省信息安全技術重點實驗室,清華大學,UESTC 和 Johns Hopkins University 等科研人員展開了研究合作。