今年6月，京東一年一度的618店慶拉開帷幕。許多京東用戶發(fā)現(xiàn)，在今年的618中，京東上線了全新的AI導購機器人JOY，它沿用了京東經(jīng)典的機器狗形象，可以為用戶解答618店慶相關(guān)問題。

　　面對京東用戶們提出的各種各樣的問題，JOY大多能給出令人滿意的回答，甚至可以和用戶閑聊扯家常。此外，JOY也強化了自己的多輪對話能力，以便應(yīng)對用戶的反復追問。

　　在京東JOY強大的對話能力中，基于開放域目標驅(qū)動的生成式對話服務(wù)來自于人工智能企業(yè)深思考人工智能（iDeepWise.ai）。其在多模態(tài)深度語義理解、人機對話等核心AI技術(shù)上已不斷突破創(chuàng)新。這些新技術(shù)的不斷迭代，也在一步步推動AI實現(xiàn)商業(yè)化落地。

　　AI對話機器人背后的黑科技究竟是什么？

　　AI人機對話在商業(yè)化落地中有很多場景，如智能客服、服務(wù)機器人、智能外呼、智能終端的交互、智能家居的交互、電視機語音交互遙控器等等。而這些人機交互場景背后的基礎(chǔ)技術(shù)，就是人機對話技術(shù)，其中最核心，則是語義理解技術(shù)。

　　智能客服，可能是眼下最常見的人機對話場景。許多人對于AI對話能力的體驗，也是從智能客服開始的。然而，如果智能客服欠缺語義理解技術(shù)，或者語義理解技術(shù)不夠好，就會出現(xiàn)如下現(xiàn)象：

某平臺的智能客服，無法理解用戶的自然語言

　　以往，人機對話產(chǎn)品的回答策略大多基于規(guī)則，即在系統(tǒng)內(nèi)提前錄入指定關(guān)鍵詞，一旦用戶觸發(fā)指定關(guān)鍵詞，智能客服便會給出對應(yīng)回復。

　　例如，在智能客服領(lǐng)域，當系統(tǒng)監(jiān)測到用戶的提問涉及查快遞一詞，就會自動給出物流信息。但面對幫我看看我的快遞到哪了一類的復雜提問方式，智能客服便無能為力。

　　甚至，當用戶詢問需要檢查快遞員身份嗎等問題時，同樣會觸發(fā)查快遞一詞。這時，系統(tǒng)甚至會給出南轅北轍的回答。

　　相比較上述人機對話的糟糕表現(xiàn)和體驗，使用深思考深度語義理解與人機對話技術(shù)的產(chǎn)品，則體驗和表現(xiàn)就相當優(yōu)異，如下截圖：

深思考機器人：可以了解用戶的喜好個性化對話 深思考智慧營銷機器人：根據(jù)歷史上文信息，給出推薦

深思考AI問好醫(yī)：AI學習醫(yī)生知識后自動對健康咨詢上下文回復

　　深思考iDeepwise將數(shù)據(jù)和AI模型驅(qū)動的深度語義理解及MRC技術(shù)作為人機對話產(chǎn)品的核心。其自研的多模態(tài)深度語義理解引擎依賴在NLG（自然語言生成）、MRC（機器閱讀理解）以及DM（對話管理）等任務(wù)上的原理性創(chuàng)新，讓AI能夠讀懂用戶自然語言，并給出針對性的回復。

　　在精準理解用戶意圖的同時，深思考的多模態(tài)深度語義理解引擎還可以在對話中不斷了解用戶，了解用戶的畫像及個性化需求及興趣，并基于用戶畫像與客戶展開個性化的對話與推薦。

　　此外，它還可以根據(jù)場景，給予對話機器人不同的性格人設(shè)，讓用戶感覺到AI對話機器人服務(wù)獨有的情感體驗。這項黑科技可以賦予IP形象以生命，使IP形象成為虛擬世界里擁有不同鮮活性格的AI虛擬人，并體貼、關(guān)懷用戶。

　　深度的多模態(tài)語義理解技術(shù)，也讓深思考在AI人機對話領(lǐng)域形成了領(lǐng)先優(yōu)勢。據(jù)了解，2020年6月在中國中文信息學會（CIPS）和中國計算機學會（CCF）主辦的中文語言理解的全球權(quán)威賽事2020語言與智能技術(shù)競賽上，深思考在全球1000多家參與單位中脫穎而出，在機器評測指標和人工評估指標中均登頂榜首，獲得全球冠軍。

　　據(jù)了解，取得這一成績，是因為深思考團隊提出的多源整合的解碼器的深度神經(jīng)網(wǎng)絡(luò)模型技術(shù)。該技術(shù)在AI人機對話上能流暢地引導用戶交流，主動溝通，并和MRC機器閱讀理解、用戶畫像、目標規(guī)劃深度結(jié)合，適配多場景應(yīng)用，可以迅速遷移多個場景。

　　深思考創(chuàng)始人楊志明博士表示，腹有詩書氣自華，讓系統(tǒng)不停地博覽群書、閱讀理解大量信息，才能使機器對內(nèi)容能理解會思考，并實現(xiàn)自然流暢的人機交互。深思考多模態(tài)深度語義理解引擎iDeepwise。ai5.0目前也正式發(fā)布應(yīng)用，5.0版本引擎能夠閱讀理解非結(jié)構(gòu)化語音、視頻、文本，試想讓機器時刻不停地閱讀理解互聯(lián)網(wǎng)上的語音、視頻和文本后，機器就會變得更聰明博學，相信機器更理解人類的日子已經(jīng)不遠了。

　　深思考多模態(tài)深度語義理解與人機對話引擎iDeepwise。ai5.0可以應(yīng)用于諸多落地場景：比如電商、銀行、保險、智能終端（音箱、手機、車機、智慧屏）、游戲、虛擬偶像中。

　　AI——從感知走向認知

　　現(xiàn)在，感知階段的人工智能走向認知人工智能是人工智能發(fā)展的必然階段，多模態(tài)的深度語義理解是認知人工智能階段中的關(guān)鍵核心。深思考人工智能創(chuàng)始人楊志明博士對36氪表示。

　　何為多模態(tài)語義理解？簡而言之，通俗化來講就是讓機器可以看懂、聽懂、讀懂。而深思考的人工智能多模態(tài)深度語義理解，就是讓機器可以看懂視頻圖像，可以聽懂語音，讀懂文本等多模態(tài)非結(jié)構(gòu)化信息背后的含義。

　　如何讓機器能夠閱讀理解？這就依賴機器閱讀理解技術(shù)（MRC），在MRC領(lǐng)域，深思考同樣成果斐然。在2019年的中文機器閱讀理解競賽中，深思考憑借著自研的BMANet2.0模型，在2502家知名學術(shù)科研機構(gòu)和企業(yè)團隊中脫穎而出，刷新了SOTA記錄，并在兩項評測指標中均登頂榜首，獲得全球冠軍。

　　例如，在電商場景，傳統(tǒng)的電商智能客服，需要系統(tǒng)開發(fā)商人工整理大量問答對、知識圖譜、知識庫或規(guī)則，并通過問答對匹配、規(guī)則匹配，實現(xiàn)人機對話。使用MRC技術(shù)后，系統(tǒng)就可以直接閱讀理解商品的說明書，極大地提高了效率，減少了人力成本，并大大提高了智能客服的智商。

　　AI商業(yè)化新基建——多模態(tài)語義理解

　　目前，產(chǎn)業(yè)界普遍認為，多模態(tài)語義理解將會成為AI在各行各業(yè)實現(xiàn)大規(guī)模商業(yè)落地的重要基礎(chǔ)設(shè)施。這一邏輯背后的原因非常簡單——現(xiàn)實世界本身就是多模態(tài)的。就像你去醫(yī)院看病，醫(yī)生要望聞問切，對患者各種模態(tài)的狀況進行檢查（比如血、尿，體溫，MR，詳細咨詢病情等），不能只憑線上聊天的幾行文字就做出診斷。

　　多模態(tài)語義理解具備了同時多種模態(tài)信息進行深度理解的能力，所以適配的應(yīng)用場景就更廣泛，因為現(xiàn)實中的場景都是多模態(tài)的。例如，在醫(yī)療場景，醫(yī)生會對就診病人望聞問切；電商場景，用戶會在咨詢時發(fā)來語音或圖片或文本；在線教育場景，學生總是期待老師能夠通過視頻、音頻和解說文字來教學，通過圖文并茂實現(xiàn)更好的教學效果。就連人類的社交場景也是多模態(tài)的，人們總是期望能見面詳談，能面對面看到對方的樣子、姿態(tài)、表情、聲音，并通過對話、聲音、視覺等多種模態(tài)信息，理解對方的意圖。

　　人工智能多模態(tài)語義理解存在著廣闊的商業(yè)前景，并有望成為AI行業(yè)的新基建。

　　憑借著在人機對話、機器閱讀理解、多模態(tài)語義理解領(lǐng)域的技術(shù)積累，深思考已在智慧醫(yī)療、智慧生活、智慧商業(yè)三大AI場景成熟應(yīng)用落地，并基于其iDeepWise5.0多模態(tài)深度語義理解引擎的技術(shù)優(yōu)勢，不斷快速適配更多應(yīng)用場景，在虛擬偶像、二次元平臺、游戲等領(lǐng)域不斷開疆拓土。讓機器更理解人類，未來可期，也是深思考的未來不斷探尋之路。