A/V文章, 技術(shù)文庫

電視語音助理誰好用實測結(jié)果大公開?。ㄏ拢?/h1>

百佳泰 Allion Labs > 電視語音助理誰好用實測結(jié)果大公開?。ㄏ拢?/span>

Allion Labs / Franck Chen

在上一篇文章中，我們大致介紹了目前主要的語音助理應(yīng)用、未來發(fā)展趨勢、潛在風(fēng)險以及百佳泰的測試能量。本篇將分享評測結(jié)果與分析。

如同上篇所提到的測試規(guī)劃如下：

語音助理響應(yīng)速度與穩(wěn)定度測試
語音助理執(zhí)行率與正確率測試 – 簡單情境
語音助理執(zhí)行率與正確率測試 – 普通情境

[Test-1] 語音助理響應(yīng)速度與穩(wěn)定度測試

?測試情境?

– [Step-1] 在電視主畫面(Home Screen)下，按下<語音按鍵>。

– [Step-2] 電視顯示語音助理接口。

?測試項目?

從 [Step-1] “按下<語音按鍵>” 到 [Step-2] “電視顯示完整語音助理接口” 之時間。反復(fù)執(zhí)行操作，總計執(zhí)行300次。

?量測結(jié)果?

?結(jié)果分析?

平均響應(yīng)速度：

?表現(xiàn)最佳為?Amazon TV – Alexa，是唯一低于反應(yīng)靈敏建議值(1,000 ms)以內(nèi)的組別，整體反應(yīng)含UI呈現(xiàn)都相當(dāng)靈敏與直覺。

?表現(xiàn)最差為?LG TV – AI ThinQ，許多數(shù)據(jù)已貼近或大于1,500 ms，達(dá)到足以令人察覺到有點延遲的臨界值，其整體流暢度有待提升。

相同語音助理在不同電視操作系統(tǒng)之比較：

以Alexa為例，在Samsung TV上平均1,234 ms的表現(xiàn)遠(yuǎn)不及于在Amazon TV上平均446ms的表現(xiàn)，因此可以推斷整體響應(yīng)速度主要還是受到該電視效能與設(shè)計上的影響，并非同一個語音助理系統(tǒng)在不同系統(tǒng)上的表現(xiàn)都會一樣，消費者在選購時應(yīng)特別留意。

[Test-2] 語音助理執(zhí)行率與正確率測試 – 簡單情境

?測試情境?

– [Step-1] 在電視主畫面(Home Screen)下，按下<語音按鍵>喚醒語音助理。

– [Step-2] 語音輸入“Go to YouTube”后等待10秒

– [Step-3] 按下<Home> key回到電視主畫面Home Screen。

?測試項目?

– [Step-1] 語音助理是否能正確喚醒。

– [Step-2] YouTube是否能透過語音助理正確開啟。

?量測結(jié)果?(300次)?

在使用百佳泰開發(fā)的ACSTS測試套件執(zhí)行測試下輕松得到測試結(jié)果，若是透過一般人工檢測難以發(fā)現(xiàn)此潛在問題，更遑論取得關(guān)鍵log進(jìn)行分析與改善。

?結(jié)果分析?

表現(xiàn)總評

?表現(xiàn)最佳為Samsung TV-Bixby/Alexa。每一個組別的語音助理執(zhí)行率與正確率皆有達(dá)到要求95%以上，其中又以Samsung TV-Bixby/Alexa表現(xiàn)最佳，沒有出現(xiàn)任何錯誤。

?表現(xiàn)最差為?Amazon TV-Alexa，總計出現(xiàn)了最多錯誤(6次)，并且有連續(xù)4次發(fā)生“語音助理沒有喚醒”的嚴(yán)重問題，絕對會讓消費者有不好的使用體驗。

相同語音助理在不同電視操作系統(tǒng)之比較

?以Alexa為例，在Samsung TV上的表現(xiàn)優(yōu)于在Amazon TV上的表現(xiàn)，同樣呼應(yīng)[Test-1]之結(jié)果，并非同一個語音助理在不同電視系統(tǒng)上的表現(xiàn)都會一樣。

?可能影響的因素包含各家遙控器的收音能力、語音數(shù)據(jù)傳輸能力、電視系統(tǒng)/UI設(shè)計、抗干擾能力….等等因素而造成語音助理整體表現(xiàn)上的落差。廠商在開發(fā)時不能只依賴語音助理本身的能力，而是要搭配使用者實際的情境應(yīng)用做全方位的模擬測試。

?問題摘要?

Sony TV-Google Assistant

數(shù)次出現(xiàn)辨識到語音指令”go to YouTube”，但是下一刻卻又無所適從的窘?jīng)r。

Amazon TV-Alexa

出現(xiàn)幾次語音助理啟動后，卻執(zhí)行錯誤的問題。

僅執(zhí)行上面簡單的情境驗證便產(chǎn)生了一些問題和差異化，以下透過復(fù)雜一點的使用者情境進(jìn)一步實測，其結(jié)果會是如何呢?

[Test-3] 語音助理執(zhí)行率與正確率測試 – 普通情境

?測試情境?

– [Step-1] 將電視關(guān)機后等待5分鐘

– [Step-2] 將電視開機后等待30秒

– [Step-3] 按下<語音>按鍵，語音輸入“Open Netflix”后等待10秒

– [Step-4] 按下<語音>按鍵，語音輸入“Go to YouTube”后等待30秒 → Go to [Step-1]

?測試項目?

– [Step-3] : 語音助理能正常喚醒、Netflix能透過語音助理正確開啟…1^st?Accuracy

– [Step-4] : 語音助理能正常喚醒、YouTube能透過語音助理正確開啟…2^nd?Accuracy

?量測結(jié)果?(100次)?

?結(jié)果分析?

表現(xiàn)總評

?表現(xiàn)最佳為Amazon TV – Alexa、Sony TV – Google Assistant。兩者表現(xiàn)不分軒輊，開機后第一個語音執(zhí)行正確率都有達(dá)到標(biāo)準(zhǔn)，而第二個語音執(zhí)行甚至沒有任何錯誤發(fā)生。

?表現(xiàn)最差為?LG TV – AI ThinQ、Samsung TV – Bixby

LG – AI ThinQ

第一個語音指令執(zhí)行正確率僅有76%，第二個語音指令執(zhí)行正確率雖有提升至82%，但距離標(biāo)準(zhǔn)95%仍有一大段距離。主要問題除了”語音助理沒有喚醒”外，也發(fā)生多次”可進(jìn)行語音識別，但執(zhí)行結(jié)果錯誤”的問題：

Samsung TV – Bixby

第一個語音指令執(zhí)正確率只有1%，主要原因是即使在電視開機后等待30秒，喚醒語音助理時仍然都顯示為loading中的相關(guān)訊息而無法使用(左下圖)，導(dǎo)致第一個語音指令幾乎全都失敗。有時候即使已顯示“Go on, I’m ready”的信息接口(右下圖)，但實際上沒有辨識功能。

第二個語音指令執(zhí)行正確率有大幅提升至91%，但因為發(fā)生了多次語音助理在有喚起的狀態(tài)下(左下圖)，卻發(fā)生無法辨識或無法執(zhí)行的問題(右下圖)，讓整體執(zhí)行正確率僅剩91%低于需求的95%以上。

測試總結(jié)與目前排名

目前的排名由Amazon TV-Alexa取得領(lǐng)先，而LG- AI ThinQ則是處于落后局面。

進(jìn)階測試與分析

由于LG-AI 、SAMSUNG Bixby這三臺在普通情境出現(xiàn)嚴(yán)重問題，基于實驗精神，我們進(jìn)一步將這三臺做進(jìn)階測試以利分析原因。我們將[Test-3]當(dāng)中的”[Step-2] 將電視開機后等待30秒”延長至40秒及60秒進(jìn)行驗證。

?結(jié)果分析?

LG – AI ThinQ

將開機后等待時間延長至40秒、60秒后，無論是第一或第二個語音指令，整體正確率并無明顯提升仍低于要求的95%。顯示電視關(guān)機/開機后整體處理程序影響到了語音助理的功能性。

Samsung TV – Bixby

將開機后等待時間延長至40秒后

?第一個語音指令：語音助理loading時間過久的問題大幅減少，然而伴隨而來的問題是語音助理無法識別語音，造成整體正確率仍是0%。

?第二個語音指令：語音助理無法辨識的問題大幅減少，但整體89%的正確率仍低于要求標(biāo)準(zhǔn)(95%)。

將開機后等待時間延長至60秒后

?第一個語音指令：語音助理loading時間過久的問題僅剩1次，然而伴隨而來的是語音助理無法識別語音，造成整體正確率仍是0%。

?第二個語音指令：語音助理無法辨識的問題僅剩2次，整體正確率提升至97%合乎標(biāo)準(zhǔn)(95%)。

Samsung TV – Alexa

將開機后等待時間延長至60秒的情境驗證在Samsung-Alexa

?第一個語音指令：發(fā)生了語音助理無法喚醒或是可進(jìn)行語音識別，但執(zhí)行結(jié)果錯誤的問題，造成整體正確率同樣是0%。

?第二個語音指令：沒有發(fā)生任何問題，語音指令執(zhí)行正確率大幅提升至100%

由上述驗證幾乎可以得到一個結(jié)果即是，該Samsung TV無論是使用Bixby或是Alexa在關(guān)/開機后的第一次的語音助理功能皆有問題，對比Amazon TV-Alexa的實測結(jié)果，再次證明并非同一個語音助理在不同電視系統(tǒng)上的表現(xiàn)都會一樣，無論您是語音助理系統(tǒng)廠商或是電視制造商在開發(fā)階段或是消費者在選購上都應(yīng)特別留意此部分。

還在為產(chǎn)品負(fù)評煩惱嗎?

從以上簡單的實驗案例可以了解到，若要執(zhí)行精確量測以及提早在產(chǎn)品上市前攔截機率性嚴(yán)重問題，除了需要善用自動化工具外，情境設(shè)計也是至關(guān)重要的一環(huán)，兩者缺一不可。語音助理事關(guān)智能電視是否能真正「展現(xiàn)」智慧的重要關(guān)鍵，百佳泰擁有自動化工具開發(fā)能力及多年的電視檢測技術(shù)及經(jīng)驗，可協(xié)助設(shè)計及模擬全方位的關(guān)鍵情境，能事半功倍替您的電視質(zhì)量做嚴(yán)格的把關(guān)、提升市場競爭力。

若您對于我們的測試方案有興趣的話，可直接填寫咨詢窗口，將會有專人與您聯(lián)系。