Solution Design(解決方案設計)是管理學中一個重要的方法論,它為項目管理的需求調研、目標定義、效果保障指明清晰的方向,簡單又不失完整,在項目實施過程中也廣受架構師、項目經理的歡迎。近年來,隨著智能客服的大力推廣,企業越來越注重成本和體驗。
以電商場景為例,阿里巴巴智能服務事業部推出的個人購物智能客服——阿里小蜜就能夠在節省服務成本的同時,為消費者提供優質、貼心的服務。在阿里小蜜的產品設計中,為了保障孵化搭建及應用效果的持續提升,智能客服的核心技術——語義模型也在產品化的過程中設立了人工智能訓練師這一角色,主導完成方案設計、模型搭建。相對于算法工程師對AI算法的建立,人工智能訓練師則承擔著技術連接業務的工作。
今天,我們就為大家揭秘,在智能客服的語義模型搭建中,人工智能訓練師是如何連接智能和服務,進行模型搭建設計的。
解決方案設計
語義模型是智能客服的核心,該模型的能力直接影響著智能客服的表現。
如圖1,一個智能客服的語義模型是由多個角色的合作共同完成的:人工智能訓練師負責數據的收集、標注等;算法工程師使用數據進行機器學習和模型訓練。
訓練好模型并完成評估后,模型將由研發工程師進行發布和上線;語義模型的迭代更新也遵循這一流程。可以看出,人工智能訓練師在該流程中承擔著模型數據提供的重要職責,而這項任務可以由解決方案設計方法論指導,分步驟完成。
圖1:多個角色合作搭建智能客服語義模型
通常情況下,語義模型搭建需要通過四個步驟來完成解決方案的設計(如圖2)。
圖2:四個步驟完成語義模型搭建方案設
1、理解客戶業務
要設計符合需要的解決方案,需要對當前服務場景有深入的了解。包括:當前服務的核心目標,服務團隊的組織架構,終端被服務客戶的現狀等。這些資料的調研及整理,有助于項目中的各個角色更多地了解服務全鏈路業務,提供更好的支持。以阿里小蜜為例,需要調研的是阿里巴巴的服務目標、阿里巴巴的客服團隊組織架構、阿里巴巴消費者的消費行為、服務訴求信息。
2、定義客戶需求
“定義整體項目”,是描述本次模型搭建要做什么、為什么做,并要得到項目發起人的認可,人工智能訓練師應在模型設計前明確項目的整體定義。
從全局上定義項目活動,有助于清晰地梳理模型需要解決的問題是什么,為解決方案的設計打好基礎。不清晰的項目定義更像是一個idea,比如:“我要做一個能夠替代人工客服的智能客服”;而清晰、可實施的項目定義則應是:“目前通過數據分析,阿里巴巴的消費者每天會咨詢大量簡單、高頻重復問題,占比約為80%。這部分可以通過智能客服來回答,以實現部分替代人工的目的。
我需要的項目角色是……,項目成員是……”,一個完整的項目定義應包括目標、背景、目標方案和整體方法、范圍、計劃框架和組織等。
當然,根據項目的業務范圍大小,目標需要有相應的設定。如“目前阿里小蜜在消費者訴求為退款的意圖識別中,錯誤率有50%。這部分需要通過算法模型的優化來解決,以提升智能客服的解決率”也是一個清晰的定義,即便項目的產出物并不像“做一個智能客服”那么宏大。在模型設計中,可以逐步迭代項目的定義目標,并分步驟進行。
需要注意的是,整體項目定義中,項目的背景必須有可信的數據支撐,而項目可實現的數據目標則可以不急于定論,只要有一個清晰的方向即可。這一目標可以在業務需求定義或者是解決方案設計環節完成。
完成項目的整體定義后,即開始羅列需求點,并定義項目的邊界。需求點和邊界的定義,為項目及其產出物的能力范圍設定了清晰的要求,即“有所為有所不為”。確定需求點的過程是一個和客戶反復對焦的過程,需要深入客戶的業務,全面理解客戶的想法,才能把需求挖掘清楚。在這個過程中,人工智能訓練師會全面歸納業務場景,然后從場景入手去確定需求點、定義項目邊界。
以阿里小蜜為例,人工智能訓練師可以基于對服務業務的理解和數據分析,將咨詢服務歸納為幾種類型的活動,然后明確阿里小蜜的能力范圍:
-
支持:簡單知識問答,比如流程咨詢:“在哪里可以看到我的全部訂單”;
-
支持:涉及消費者的任務處理,比如導購任務:“我想挑一個給媽媽用的老人手機”;
-
支持:非業務聊天,即一般性閑聊,如“你好啊”“陪我講個笑話吧”等;
-
不支持:商家的業務工單處理,如“幫我處理下我店鋪的訂單退款吧”;
由于阿里巴巴業務復雜,服務的業務范圍也非常廣,有些需求并非無法實現,只是需要在特定項目周期內確定需求范圍及邊界,以保障健康的項目迭代。人工智能訓練師需要在這個過程中,把項目希望實現的活動全面、清晰地列示,說明清楚哪些是不做的,再附上相應的真實場景原聲。根據這樣的需求調研和業務解釋,算法工程師就可以清晰、高效地了解業務,以便對于需要設計和應用什么樣的AI算法模型有一個大致的判斷。
需求確認完畢后,人工智能訓練師就可以和算法技術團隊一起,根據技術能力來初步判斷模型可實現的目標。
3、設計解決方案
3.1 資源采集和分析
解決方案的設計需要確定的業務場景,即在項目需求范圍內進行深入、細致的資源采集和分析。作為智能客服,算法模型設計和使用效果的提升離不開真實的客戶聊天數據,同時對于服務的回答予以判定“對”、“錯”,形成標準樣本供AI進行學習。
人工智能訓練師需要在深度和廣度上都全面地采集這部分數據,同時做好分析工作:比如,將服務訴求進行歸類,并透視用戶訴求的占比分布;或采集現有服務中的問題,并分析問題產生的原因,等等。這樣的分析可以方便算法工程師迅速了解現象、原因及嚴重程度占比,在信息互通及良好協同的基礎下,快速給出算法方案的判斷。在上一步驟(即需求確認階段),真實場景原聲的收集是一個讓技術、產品成員快速了解客戶業務的方式,但這種列舉僅僅是增加感性層面的認證,對于模型的搭建來說則較為初級和原始。
在統計學上,有一個重要的概念:獨立同分布。即隨機過程中,任何時刻的取值都為隨機變量,這些隨機變量服從同一分布,并且互相獨立。以淘寶為例,消費者的服務咨詢都屬于獨立行為,不會受到彼此影響,所以在數據采集上,人工智能訓練師需要遵循這個原則,以便確保采集的數據和業務實際是一致的。如果采集的數據有偏離,比如閑聊偏多、業務相關問題偏少;或漏采集了某類知識問答,則會影響最終的算法模型表現,或者測試效果和實際使用效果有較大差距。
理想情況下,用于算法模型訓練和效果驗證的數據應該保持獨立同分布,且和實際分布保持統一。然而,在數據采集活動中,往往會遇到資源缺少的情況,在這種情況下遵循獨立同分布進行數據采集會有一定的挑戰。所以,還需要人工智能訓練師運用數據分析的方法,同時借助一些工具,進行數據的清洗或構造,以便使采集到的數據更加接近真實情況下的獨立同分布。
3.2 核心能力設計
數據采集、分析完畢后,人工智能訓練師需要和算法工程師協同選取和制定模型的核心能力。人工智能訓練師從業務上梳理業務對算法能力的要求,算法工程師從模型能力特點上確定適合、匹配的算法模型。以圖3為例,人工智能訓練師和算法工程師需要緊密配合,共同確定模型的核心能力:
如果服務的問題較為封閉,且有明顯的分類性,即用戶的咨詢集中在幾類知識上,且知識之間的差異性較大:比如在某售前場景下,用戶關注的問題可能會集中在“是否有庫存”、“我應該選什么尺碼”、“發貨方式是什么”、“付款方式是什么”,這時,較為合適的算法核心能力應為分類算法。
當服務的問題較為開放時,沒有特定的類別區分,即用戶的問題存在種類多、高發散性的特點,這時,語義相似度算法(無監督)則更為適用。待語義相似度算法模型上線后,如果有人力可以投入機器人回答“正確”“錯誤”的數據校驗,則適合在相似度算法的基礎上引入精確排序算法(有監督)。
服務知識為非結構化文本時,即知識并沒有被整理成 “知識標題、知識答案”結構時,可能會面臨著這些挑戰:知識維護人力不足,沒有足夠的資源投入“知識標題、知識答案”結構的拆解;知識的時效性要求高,比如一小時超短促銷活動規則,投入大量人力進行拆解性價比低;知識從獲取到發布的周期要求緊迫,對時效性的要求很高。在這個場景下,機器閱讀理解技術是解決這些問題的不二之選。
圖3:根據業務特點確定模型的核心能力
確定好解決方案的核心算法能力,接下來還需要細化評估當前采集到的數據在搭建核心能力中的使用方法,以及還需要構造、采集和標注哪些數據,用來搭建這一核心能力。
需要指出的是,在弱人工智能時代,雖然算法模型搭建離不開大量的數據積累,但算法的技術進步、人工智能訓練師的數據分析工作可以減輕模型對于數據量的依賴,或者將需要的數據量級逐步降低,即并非只有大量的數據標注工作才是算法模型能力提升的唯一道路。
3.3 可行性評估、風險及依賴項溝通
模型設計完畢后,還需要和產品經理、研發人員進行可行性評估,找到相互依賴的合作內容,并互通研發風險。在分析可行性時,要梳理好前期工作中發現的風險、假設、問題和依賴,并制定應對措施和可能的行動計劃。
4、方案宣講溝通
模型設計方案確定后,還需要進行項目核心成員的溝通、宣導,確保項目組成員對算法模型有一定程度的理解,以便更好地投入生產開發。除此以外,還有必不可少的客戶宣講環節。通過科普性講解,讓客戶能夠走進智能,培養建立一定的客戶心智,方便后續的產品使用。
5、展望
不難看出,目前人工智能訓練師已在智能語義模型設計中起到了相當重要的作用,其核心能力在于對業務的深入理解、對場景的系統化抽象的總結,以及業務的精準解釋表達,連接先進的AI技術和業務場景。
隨著智能服務的推廣和傳播,阿里巴巴在將小蜜系列產品推廣至商家、企業、海外服務領域的同時,也將“人工智能訓練師”理念持續推廣至合作伙伴、服務供應商和服務需求客戶中。目前,已有累計超過2萬的客服人員在阿里巴巴店小蜜、云小蜜認證系統通過了人工智能訓練師的學習和認證,助力智能服務的應用。人工智能訓練師越來越深度地參與在智能產品的搭建與設計,我們相信,未來以AI為核心的智能客服等一系列產品的搭建成本將進一步降低,產品的體驗也會越來越好。
作者為曹雨菡(戲墨),作者為阿里巴巴集團智能服務事業部高級人工智能訓練師;