6月6日下午，全球人工智能技術大會期間，聚焦全球化多語種需求，著眼于語言互通在一帶一路戰略中的基礎性作用，在多語種智能信息處理專題論壇上，科大訊飛研究院執行院長劉聰發表《用系統性創新破局多語種智能語音語言技術難題》主題演講。

　　用系統性創新破局多語種技術難題

　　當前，語音已成為萬物互聯時代人機交互的關鍵入口，語音輸入、語音搜索、語音交互等技術已經成為手機、車載、玩具等智能產品的標配。另一方面，一帶一路國家戰略的建設依賴語言互通，多語種翻譯技術價值凸顯。此外，多語種語音語言技術也涉及國家信息安全等重大方向，成為世界各國競相布局的關鍵技術方向。

　　因此，無論從社會剛需，還是國家戰略、信息安全等方面考慮，布局多語種語音語言技術都顯得尤為重要。

　　劉聰表示，未來十年，我們將圍繞語音交互、語言翻譯等剛需應用場景，開展多語種語音識別、語音合成、機器翻譯、圖文識別等智能語音語言技術的系統性布局，覆蓋包括一帶一路和世界主要國家在內的70多種語言。

　　我們非常清楚要將70多種語言的智能語音語言技術做到實用水平，并沒有那么容易，所以我們計劃用十年的時間去攻克這個難題。

　　針對未來十年布局，劉聰總結出多語種技術研發中面臨的三個挑戰：

　　一是不同語言的用戶分布存在明顯的長尾效應，小語種語言分析研究的積累和投入不足。不同語言獨特的語言現象十分復雜，相關知識的全面積累以及知識與技術的融合均存在困難；

　　二是多語種訓練數據稀缺，制作難度和成本較大，難以支撐大量語種系統的研發；

　　三是語音合成、圖文識別、語音識別、機器翻譯等多語種技術涉及70多個語種、云端和本地引擎，以及不同領域需要研發部署成百上千套系統，眾多系統批量構建存在難題。同時，當前基于級聯的語音翻譯、圖片翻譯也存在誤差擴散問題。

　　劉聰認為：多語種技術的全面推動，包括技術創新和應用落地，不能只靠單點技術的創新，迫切需要通過系統性創新的方式來破局。

　　從數據、算法、平臺多維度

　　構建多語種技術的系統性創新研發體系

　　什么是系統性創新？科大訊飛總結了三大關鍵要素：一是關鍵的核心技術效果要跨越技術鴻溝，達到應用門檻；深度融合創新鏈條上的各個關鍵技術，激發創新能力；針對重大的歷史命題社會命題進行系統性解析，并將其轉化為科學問題。

　　單點技術突破方面，從2006年研發的中文口語評測機器評分超過專業評測員平均水平，到2015年研發的機器中文語音轉寫正確率超過人類速記員水平，再到智醫助理機器人通過國家執業醫師資格考試綜合筆試測試、中英語音翻譯達到CATTI全國翻譯專業資格（水平）考試二級合格標準……科大訊飛不斷在單點技術上取得突破。

　　在創新鏈條上各關鍵技術的深度融合方面，基于核心技術的深度理解，我們可以進行多個方向技術的協同創新。劉聰舉例，2016年，科大訊飛基于語音譜圖和圖像的相似性，成功將卷積神經網絡應用于語音識別，提出DFCNN建模技術，將其拓展到圖文識別任務上，效果取得了大幅提升。

　　對于多語種智能語音語言技術研發及產業化而言，由于其涉及語言眾多、技術實現復雜，我們將其作為一個系統工程進行推動。劉聰表示。

　　他從數據、算法、平臺等維度，分享了科大訊飛在多語種智能語音語言技術系統性創新中的思考和實踐。在數據方面，科大訊飛研發了基于人機協同的多語種數據標注平臺；在算法方面，重點開展了多語種端到端統一建?？蚣?、無監督/弱監督訓練，以及語音/圖片翻譯多任務協同優化等方向的研究；在研發訓練效率優化方面，構建了多語種模型自動訓練及定制優化平臺，以推動多語種系統的批量研發，解決人工耗時耗力問題。

　　基于系統性創新，我們已經完成一套完整的多語種語音語言系統研發，包括60種語言的語音合成，69種語言的語音識別，56種語言的圖文識別，以及168種語言與中文的機器翻譯。劉聰指出，部分語種現已上線訊飛開放平臺，對外提供服務。

　　用系統性創新推動多場景廣泛落地

　　得益于系統性創新，科大訊飛多語種智能語音語言技術在語音交互、語言翻譯等場景初步取得規模化應用落地。

　　在多語種交互方面，科大訊飛與俄羅斯汽車工程研究院（NAMI）、奇瑞等國內外多個廠商開展多語種合作，目前已覆蓋英語、俄語、日語、泰語、西班牙語、意大利語等主要語種。

　　在多語種翻譯方面，科大訊飛2016年發布的訊飛翻譯機開創了AI翻譯機新品類，今年5月又推出雙屏翻譯機，持續引領智能翻譯硬件潮流。訊飛聽見同傳產品廣泛應用于大型會議、發布會、展覽會等場景，已服務超1萬場次大會，服務超3億人次?？拼笥嶏w還成為北京2022年冬奧會和冬殘奧會官方自動語音轉換與翻譯獨家供應商，助力打造人類歷史上首個信息溝通無障礙的奧運會。

　　此外，為了賦能海外開發者，依托智能語音國家新一代人工智能開放創新平臺，2020年4月科大訊飛在新加坡部署了海外站點，為海外開發者提供多語種語音識別、語音合成、機器翻譯、圖文識別和語音評測等能力，海外開發者數量已經超過7萬人。

　　劉聰指出，盡管在多語種技術研發和產業應用方面，我們取得初步成效，但我們也應清醒認識到，當前大量低資源語種的技術水平相比中英文等資源豐富語種還有較大差距。依托科技冬奧科技創新2030等國家科技部重點研發計劃，科大訊飛目前聯合了中科大、哈工大、新疆大學、上海外國語大學等國內眾多科研單位，已形成了廣泛的多語種產學研聯盟，共同推動我國多語種智能語音語言技術進步。