智能音箱隨著近幾年語(yǔ)音助理的蓬勃發(fā)展下，銷售量每年都呈爆炸性的成長(zhǎng)。不僅在歐美地區(qū)，在亞洲地區(qū)同樣炙手可熱。

通常每款智能音箱在上市前，其所支持的數(shù)字助理都會(huì)經(jīng)過(guò)性能驗(yàn)證，以確保產(chǎn)品正常運(yùn)作，并符合用戶預(yù)期。然而，即便產(chǎn)品經(jīng)過(guò)基本身份驗(yàn)證，現(xiàn)實(shí)生活中還是會(huì)遇到大大小小的使用問(wèn)題，例如無(wú)法喚醒，或語(yǔ)音識(shí)別不正確等狀況。究竟是什么原因造成這些問(wèn)題？以下我們將分成幾個(gè)層面來(lái)探討。

 

智能音箱的四大性能指標(biāo)

首先我們來(lái)了解一下支持亞馬遜Alexa語(yǔ)音助理的智能音箱，所需要通過(guò)的驗(yàn)證項(xiàng)目。百佳泰目前已經(jīng)有提供廠商進(jìn)行Amazon Alexa Built-in的相關(guān)性能驗(yàn)證，其四種性能指針如下：

• FRR (Wake-Word False Rejection Rate) 驗(yàn)證喚醒的正確率，
  透過(guò)播放預(yù)錄的測(cè)試語(yǔ)音，來(lái)記錄受測(cè)產(chǎn)品是否每次都能被正確喚醒。
• RAR (Response Accuracy Rate)驗(yàn)證回復(fù)的正確率
  透過(guò)播放預(yù)錄的測(cè)試語(yǔ)音，來(lái)記錄受測(cè)產(chǎn)品是否能每次正確的回復(fù)問(wèn)題，或是執(zhí)行指令動(dòng)作。
• WWDD (Wake Word Detection Delay) 響應(yīng)時(shí)間
  為了能達(dá)到更實(shí)時(shí)的反應(yīng)，避免用戶等待的不良體驗(yàn)，這項(xiàng)驗(yàn)證受測(cè)產(chǎn)品，在收到喚醒語(yǔ)音跟后續(xù)的命令之間，所需要的時(shí)間長(zhǎng)短。
• FAR (Wake-Word False Alarm Rate) 喚醒詞測(cè)試
  通常智能音箱接上電源后，就會(huì)保持全天候待命的狀態(tài)。但是一般用戶對(duì)話時(shí)，不會(huì)特意去避開(kāi)使用喚醒詞，或是難免說(shuō)了與喚醒詞發(fā)音相近的詞語(yǔ)。這項(xiàng)測(cè)試將在長(zhǎng)時(shí)間的對(duì)話進(jìn)行中，受測(cè)產(chǎn)品不會(huì)一直被誤喚醒。

圖1: 百佳泰提供之Amazon Alexa認(rèn)證測(cè)試報(bào)告

 

花錢買罪受？聽(tīng)不懂人話的智能音箱

一般來(lái)說(shuō)，智能音箱在通過(guò)了上述的性能指針驗(yàn)證后，可以說(shuō)是已經(jīng)具備了一定程度的語(yǔ)音識(shí)別能力，同時(shí)也具備了可上市的條件。

不過(guò)！現(xiàn)實(shí)往往沒(méi)想象中美好，

難道通過(guò)驗(yàn)證就保證萬(wàn)無(wú)一失了嗎？其實(shí)問(wèn)題還是層出不窮…

消費(fèi)者花了大錢，原本迫不及待想跟語(yǔ)音助理對(duì)話互動(dòng)，卻發(fā)現(xiàn)問(wèn)題一堆，實(shí)在非常掃興。用戶買回家經(jīng)過(guò)簡(jiǎn)單的設(shè)定，把智能音箱連上網(wǎng)絡(luò)完成登入，正準(zhǔn)備開(kāi)始使用時(shí)，卻發(fā)現(xiàn)語(yǔ)音助理怎么怪怪的，無(wú)法喚醒？不然就是問(wèn)了幾個(gè)簡(jiǎn)單問(wèn)題卻答非所問(wèn)！又或者是發(fā)生以下?tīng)顩r:

• 沒(méi)叫它時(shí)，自己卻突然被喚醒
• 回應(yīng)緩慢
• 網(wǎng)絡(luò)聯(lián)機(jī)不穩(wěn)定
• 聲音質(zhì)量不佳

 

基本性能驗(yàn)證是不夠的！智能音箱需要更生活化的驗(yàn)證測(cè)試

先前提到的性能指針驗(yàn)證，基本上是以固定數(shù)量的測(cè)試語(yǔ)音，透過(guò)不同的發(fā)音距離及發(fā)音源角度，外加幾種噪音干擾，來(lái)驗(yàn)證智能音箱的性能表現(xiàn)。

對(duì)廠商而言時(shí)間就是金錢，只有縮短產(chǎn)品研發(fā)及驗(yàn)證時(shí)間，才能越早開(kāi)始獲利。然而，若驗(yàn)證時(shí)程被限縮又無(wú)法針對(duì)問(wèn)題進(jìn)行精準(zhǔn)的測(cè)試，恐怕廠商在產(chǎn)品上市后，還是會(huì)收到消費(fèi)者客訴，甚至面臨退貨等情況。

為了幫助廠商在上市前，用最有效率、精準(zhǔn)的驗(yàn)證測(cè)試發(fā)現(xiàn)產(chǎn)品的潛在風(fēng)險(xiǎn)，百佳泰以使用者的角度出發(fā)，針對(duì)音響特性提出詳盡的測(cè)試項(xiàng)目：

• 語(yǔ)音種類及數(shù)量
• 語(yǔ)音的口音及腔調(diào)
• 更多的距離變換
• 更多的環(huán)境噪音
• 貼近不同家居裝潢材料的表現(xiàn)(玻璃、布窗簾、百頁(yè)窗、書本、電視…)
• 受測(cè)產(chǎn)品擺設(shè)的位置(靠墻、靠窗、電視柜、茶幾、書桌、床頭柜…)

圖2: 語(yǔ)音識(shí)別的測(cè)試環(huán)境

更多驗(yàn)證內(nèi)容請(qǐng)參考Audio 聲學(xué)驗(yàn)證實(shí)驗(yàn)室

 

智慧喇叭實(shí)測(cè)分享-原來(lái)擺放位置是門學(xué)問(wèn)!

百佳泰專業(yè)團(tuán)隊(duì)以Amazon Echo作為DUT，分別在不同的阻礙條件下進(jìn)行測(cè)試：

智能語(yǔ)音可能使用情境

阻礙條件：無(wú)阻礙、柜子旁、窗簾旁、書本旁

發(fā)音距離：1公尺、3公尺

測(cè)試語(yǔ)音：英語(yǔ)、男聲、女聲，共480句

環(huán)境噪音：DUT音響正在播放音樂(lè)(Device Music Playback)、其他裝置正在播放音樂(lè)(External Music)、噪音(Noise)、無(wú)噪音(Silence)

 

智能語(yǔ)音在不同情境下的回應(yīng)正確率

圖3: 模擬家居環(huán)境的測(cè)試結(jié)果

從實(shí)測(cè)結(jié)果可發(fā)現(xiàn)，在無(wú)家具阻隔的情況下，即使環(huán)境中有噪音干擾，智能語(yǔ)音的辨識(shí)度還是能夠達(dá)到100%。但若是稍微改變擺放位置，例如被窗簾、書或柜子擋住，正確率都無(wú)法達(dá)到百分之一百，也會(huì)因?yàn)椴煌脑胍舾蓴_也有不同表現(xiàn)力。

在一般的產(chǎn)品性能驗(yàn)證中，為了量化測(cè)試的結(jié)果，通常會(huì)以最理想的擺放位置進(jìn)行語(yǔ)音識(shí)別的驗(yàn)證。但這并不符合真實(shí)的使用情境，因?yàn)橄M(fèi)者買回家后，可能會(huì)把音響放在任何地方，產(chǎn)品表現(xiàn)力必定會(huì)受到環(huán)境因素影響。然而這些潛在風(fēng)險(xiǎn)，卻無(wú)法透過(guò)性能指針驗(yàn)證及早發(fā)現(xiàn)，進(jìn)而埋下日后消費(fèi)者客訴的種子。

百佳泰除了協(xié)助客戶取得語(yǔ)音助理的認(rèn)證之外，同時(shí)也提供客制化的情境測(cè)試，能夠模擬多種家居布置條件及場(chǎng)景，用來(lái)驗(yàn)證智能音箱擺放位置的影響，進(jìn)而協(xié)助廠商了解消費(fèi)者在使用時(shí)，可能會(huì)面臨的潛在問(wèn)題，并有機(jī)會(huì)及早改善并免上市后接到客訴之窘境。若有需要任何咨詢相關(guān)測(cè)試的需求，還請(qǐng)聯(lián)系百佳泰。