呼叫中心應該如何測試?
如今,呼叫中心在人們的日常生活中扮演著重要角色。從銀行的信用卡服務中心、移動運營商的客服呼叫中心,到商旅訂票系統、電子電器產品售后支持,都離不開呼叫中心。而IVR(Interactive Voice Response),即交互式語音應答,是呼叫中心的核心部件。當IVR系統繁忙或出現異常時,客戶撥打呼叫中心可能面臨多種問題,如:撥不通呼叫中心的接入號碼,聽不到或聽不清某一級的自動語音應答,應答延遲明顯增大,不能對用戶按鍵及時做出反應等。
因此,對于呼叫中心的性能測試很大程度上來說是對IVR的測試,思博倫通信專業化測試服務團隊則是這方面的專家。在本文后半段,我們以思博倫測試服務工程師幫助某知名電腦制造商測試其呼叫中心為例,介紹思博倫專業化測試服務如何使用基于Abacus的語音測試解決方案對呼叫中心進行測試。
如何測試a
(一)測試內容
針對呼叫中心(IVR)的測試一般分為兩個層面,即:1)性能壓力測試;2)語音匹配測試。
通過性能壓力測試,實現:1)最大容量測試,即:確認被測IVR系統(DUT, Device Under Test)的最大并發呼叫處理能力(無差錯點);2)穩定性測試,即:嘗試找出DUT在其可承受的最大壓力條件下持續無故障工作時間。
語音匹配測試直接體現用戶撥打呼叫中心的實際感受,它們可以遍歷所有IVR語音路徑分支或任何重點分支。
此外,語音匹配測試可分為多個步驟進行,即:1)單呼叫下的功能遍歷;2)指定呼叫量條件下的測試,指定呼叫量可以是低、中等負載強度,也可以是在高負載下測試最大順暢并發呼叫數/最大順暢呼叫速率,還可以是在極限負載下測試呼損率和系統異常表現。
(二)測試拓撲
如上圖所示,思博倫Abacus語音測試系統可以模擬終端客戶,以E1/ISDN或以太網/SIP的方式撥入呼叫中心,遍歷IVR的整個呼叫流程。如,若Abacus 5000中配置僅一塊14口E1 PCG3 單板,即可以模擬并發420路電話撥入。
(三)測試指標
1.VPM Factor(語音匹配度)
語音匹配度體現著IVR播放的語音與預先導入到Abacus上的期望語音之間的差異。
比如,VPM Factor的取值空間為1.0到10.0,當VPM Factor的值在9.0和10.0之間時,表示匹配度很高,兩個語音除了個別音節外全匹配。
VPM Factor值越小,匹配度越低。當該值在1.0到5.0之間時,表示即使有些許匹配之處,但仍可斷定從IVR聽到的語音與Abacus預存的期望語音完全是不同的內容。
2.Voice Matching Delay(語音匹配延遲)
語音匹配延遲,記錄了IVR呼叫流程中執行某個動作到匹配到特定語音之前的等待時間。例如,某銀行信用卡服務中心流程中,從按1選擇中文,到聽到下一級的主菜單語音播報之間的等待時間。
在低負載條件下,這個時間一般是短暫且穩定的(比如1秒左右),當負載增大到一定程度,語音匹配延遲可能增大且不同的話路間抖動厲害。影響用戶的使用感受甚至導致用戶掛機。
3.最大容量(或最大并發呼叫數)
屬于壓力測試范疇,該值體現了在無差錯點的條件下,即呼叫100%成功完成,被測IVR系統的最大并發呼叫處理能力。
在最大容量測試中,允許出現語音匹配延遲較大(如10秒鐘),或VPM Factor小于8的情況。
4.最大順暢并發呼叫數
該值體現出在順暢條件下,IVR可以承受的最大并發呼叫數。
所謂順暢,是指語音匹配高、語音匹配延遲小的情況。它直接反映出客戶撥打呼叫中心時的使用感受。用戶可以根據不同的應用場景來定義自己的順暢條件,如:VPM Factor大于8.2,語音匹配延遲小于1.5秒。
5.最大順暢呼叫速率
類似地,該值是在順暢條件下每秒呼叫次數。
6.指定BHCA(Busy Hour Call Attempt)條件下的呼叫成功率
BHCA為忙時呼叫次數,它表示DUT在一個小時內最大的呼叫處理次數。BHCA一般用來表示系統的呼叫處理能力。在指定的BHCA下,記錄呼叫成功率,對于IVR系統來說,,通話異常中斷、語音嚴重不匹配都可認為是呼叫失敗。
了解更多:
如何對IT系統進行綠色功耗測試?
如何壓力測試電子商務網站?
第2頁:實際測試案例分享
測試案例
某知名電腦制造商采用思博倫Abacus語音測試解決方案,對其售后服務呼叫中心進行了測試。該呼叫中心的呼叫流程如下:
用戶開始撥號,接通后聽到歡迎語音,然后用戶被告知按鍵1進入語言選擇,執行按鍵后進入主菜單,呼叫中心要求用戶朗讀報修筆記本的產品序列號。隨著深入呼叫流程中的某條路徑,人工坐席(售后技術支持工程師)接聽電話并與用戶交流。
整個呼叫流程持續10分鐘。
思博倫Abacus測試儀模擬單個或指定數量的用戶(話機)撥入,遍歷上述IVR的呼叫流程,包括撥號、聆聽(等待)、按鍵、語音宣讀產品序列號、播放語音模擬與坐席通話等。
(一)測試需求
1.語音匹配度測試(VPM)
2.響應延遲測試
包括:
1)T1: 從撥號接通至聽到歡迎進入…語音之間的延遲;
2)T2: 按1鍵后到聽到某臺筆記本電腦保修狀態的宣讀狀態語音的延遲;
3)T3(): 按1鍵后到人工坐席摘機的延遲;
注意:測試中需要使用4條E1,即共120路電話同時撥入。拓撲如下圖所示。
(二)測試配置
首先要完成基本的120話路的E1/ISDN的呼叫配置,例如針對E1的物理層參數配置和ISDN呼叫配置。
然后,需要在Abacus上定制呼叫流程,這個呼叫流程與呼叫中心IVR系統中的流程相匹配,即順序執行:撥號、聆聽(等待)、語音匹配度衡量、按鍵、語音宣讀產品序列號、播放語音模擬與坐席通話等操作。如下圖所示。
其中,語音匹配度衡量通過將兩個聲音文件進行比較來完成,即:在單用戶條件下錄制的IVR系統播放的優質語音(也可由IVR系統提供語音拷貝)與120話路并發時聽到的語音進行比較。
Abacus模擬的每路通話在一次呼叫中,隨著呼叫流程的深入,可以執行多次語音匹配度衡量和響應延遲測試。并且可以配置用戶指定的閾值告警,比如:語音匹配度VPM Factor的值小于8或聽到的語音延遲大于10秒后出現告警。
呼叫及期望得到的結果配置如下:
并發呼叫數:120 (E1/ ISDN PRI)
呼叫時長:600秒
VPM Factor閾值: 8.0
(三)測試結果及價值
1.測試結果
在測試開始后,120部Abacus仿真的話機撥打呼叫中心號碼,同時開始對某個呼叫流程的遍歷。
Abacus運行過程中的實時統計如下圖所示,可以看到諸如語音匹配度(VPM Factor)和語音匹配延遲的值。
此外,Abacus還可以通過定制化的腳本,按照指定格式將測試結果輸出到文件中,包含用戶感興趣的統計信息,如:語音匹配度(單個或多個)、匹配延遲(單個或多個)、呼叫是否成功等。如下表所示:
表格中記錄了120個話路運行20分鐘的結果(有刪節)。由于每通呼叫持續10分鐘,因此每個話路在20分鐘內分別完成了2個回合的呼叫,即從第1路到第120個話路順序起呼,每路通話完成后隨即發起第2回合呼叫。
結果中記錄了每個話路的起呼時間、回合數、話路ID、使用的序列號、是否接通、指定位置的呼叫延遲和語音匹配度等。
2.結果分析及價值
如上表所示,針對被測IVR系統(DUT),我們可以幫助用戶獲取以下內容:
1)功能遍歷
通過單話路測試,我們可以驗證DUT是否按照預期工作。
比如:是否可以撥通呼叫中心,在撥通后等待多久聽到歡迎語音;歡迎語音的匹配度如何;是否通過朗讀待修筆記本電腦的序列號可以進入維修流程;按鍵1后用戶等待多長時間后模擬的人工坐席摘機。
2)低負載條件下的DUT的表現
通過低負載測試,可以幫助用戶發現多用戶測試(但并發呼叫少,呼叫速率低)與單用戶條件下DUT表現的不同。
通過對上述表格中的數據分析,可以發現在初始階段,負載很輕條件下,DUT的語音延遲小(約1.3秒),語音匹配度高(9.5左右)。進而可以與單用戶功能遍歷進行比較,以發現問題。
3)負載增加對DUT的影響
隨著負載增加,DUT的反應如何呢?這取決于負載增加的規模及DUT自身的性能。
與低負載相比,隨著負載增加,有的DUT沒有明顯變化,有的DUT語音反饋延遲明顯增大,還有的DUT則出現了拒絕服務,如新的呼叫不能接通。
如上表所示,當并發呼叫數達到120路時,DUT的表現出現了明顯變化,如:語音延遲變大了(增加約1.5秒),語音匹配度降低了(從9.5左右降低至8.3~9.0,但仍屬于匹配度較高的范疇)。
4)DUT的處理極限
Abacus可以幫助用戶了解DUT的處理極限。
Abacus可以模擬大量的E1/ISDN或以太網/SIP呼叫。當并發呼叫數或呼叫速率到達一定的高度,DUT將出現呼叫失敗(如不能呼通、語音延遲超常等)。根據該數值,結合現網中的呼叫規模,用戶可以有針對性地對DUT進行升級、優化。
注:此部分結果可以對上述表格中的數據進行統計得出,如:記錄接通狀態出現No,語音延遲大于的10秒時的負載。
也可降低呼叫失敗的標準,得到DUT的順暢處理極限。比如:接通狀態全部為Yes,語音延遲低于4秒時的最大順暢并發呼叫數或最大順暢并發呼叫速率。
5)DUT的穩定性
穩定性是DUT在指定負載條件下長時間運轉時的表現。這項指標對于一個即將投入生產環境的IVR系統來說是非常有借鑒價值的。
比如,對DUT以最大順暢呼叫速率施加負載,評估DUT在24小時內的性能表現。