Allion Labs / Jason Wu
智慧喇叭隨著近幾年語音助理的蓬勃發展下，銷售量每年都呈爆炸性的成長。不僅在歐美地區，在亞洲地區同樣炙手可熱。
通常每款智慧喇叭在上市前，其所支援的數位助理都會經過性能驗證，以確保產品正常運作，並符合使用者預期。然而即便產品經過基本驗證，現實生活中還是會遇到大大小小的使用問題，例如無法喚醒，或語音辨識不正確等狀況。究竟是什麼原因造成這些問題？以下我們將分成幾個層面來探討。
智慧喇叭的四大性能指標
首先我們來了解一下支援亞馬遜Alexa語音助理的智慧喇叭，所需要通過的驗證項目。百佳泰目前已經有提供廠商進行Amazon Alexa Built-in的相關性能驗證，其四種性能指標如下：
- FRR (Wake-Word False Rejection Rate) 驗證喚醒的正確率，
透過播放預錄的測試語音，來記錄受測產品是否每次都能被正確喚醒。 - RAR (Response Accuracy Rate)驗證回覆的正確率
透過播放預錄的測試語音，來記錄受測產品是否能每次正確的回覆問題，或是執行指令動作。 - WWDD (Wake Word Detection Delay) 回應時間
為了能達到更即時的反應，避免使用者等待的不良體驗，這項驗證受測產品，在收到喚醒語音跟後續的命令之間，所需要的時間長短。 - FAR (Wake-Word False Alarm Rate) 喚醒詞測試
通常智慧喇叭接上電源後，就會保持全天候待命的狀態。但是一般使用者對話時，不會特意去避開使用喚醒詞，或是難免說了與喚醒詞發音相近的詞語。這項測試將在長時間的對話進行中，受測產品不會一直被誤喚醒。
圖1: 百佳泰提供之Amazon Alexa認證測試報告
花錢買罪受？為什麼智慧喇叭聽不懂我說的話…
一般來說，智慧喇叭在通過了上述的性能指標驗證後，可說是已經具備了一定程度的語音辨識品質，同時也具備了可上市的條件。
不過！現實往往沒想像中美好，
難道通過驗證就保證萬無一失了嗎？其實問題還是層出不窮…
消費者花了大錢，原本迫不及待想跟語音助理對話互動，卻發現問題一堆，實在非常掃興。使用者買回家經過簡單的設定，把智慧喇叭連上網路完成登入，正準備開始使用時，卻發現語音助理怎麼怪怪的，無法喚醒？不然就是問了幾個簡單問題卻答非所問！又或者是發生以下狀況:
- 沒叫它時，自己卻醒來了
- 回應緩慢
- 網路連線不穩定
- 聲音品質不佳
基本性能驗證是不夠的！智慧喇叭需要更生活化的驗證測試
先前提到的性能指標驗證，基本上是以固定數量的測試語音，透過不同的發音距離及發音源角度，外加幾種噪音干擾，來驗證智慧喇叭的性能表現。
對廠商而言時間就是金錢，只有縮短產品研發及驗證時間，才能越早開始獲利。然而，若驗證時程被限縮又無法針對問題進行精準的測試，恐怕廠商在產品上市後，還是會收到消費者客訴，甚至面臨退貨等情況。
為了幫助廠商在上市前，用最有效率、精準的驗證測試發現產品的潛藏風險，百佳泰以使用者的角度出發，針對音響特性提出詳盡的測試項目：
- 語音種類及數量
- 語音的口音及腔調
- 更多的距離變換
- 更多的環境噪音
- 貼近不同家居裝潢材料的表現(玻璃、布窗簾、百頁窗、書本、電視…)
- 受測產品擺設的位置(靠牆、靠窗、電視櫃、茶几、書桌、床頭櫃…)
圖2: 語音辨識的測試環境
更多驗證內容請參考Audio 聲學驗證實驗室
智慧喇叭實測分享-原來擺放位置是門學問!
百佳泰專業團隊以Amazon Echo作為DUT，分別在不同的阻礙條件下進行測試：
智慧語音可能使用情境
阻礙條件：無阻礙、櫃子旁、窗簾旁、書本旁
發音距離：1公尺、3公尺
測試語音：英語、男聲、女聲，共480句
環境噪音：DUT音響正在撥放音樂(Device Music Playback)、其他裝置正在撥放音樂(External Music)、噪音(Noise)、無噪音(Silence)
智慧語音在不同情境下的回應正確率
圖3: 模擬家居環境的測試結果
從實測結果可發現，在無家具阻隔的情況下，即使環境中有噪音干擾，智慧語音的辨識度還是能夠達到100%。但若是稍微改變擺放位置，例如被窗簾、書或櫃子擋住，正確率都無法達到百分之一百，也會因為不同的噪音干擾也有不同表現力。
在一般的產品性能驗證中，為了量化測試的結果，通常會以最理想的擺放位置進行語音辨識的驗證。但這並不符合真實的使用情境，因為消費者買回家後，可能會把音響放在任何地方，產品表現力必定會受到環境因素影響。然而這些潛在風險，卻無法透過性能指標驗證及早發現，進而埋下日後消費者客訴的種子。
百佳泰除了協助客戶取得語音助理的認證之外，同時也提供客製化的情境測試，能夠模擬多種家居佈置條件及場景，用來驗證智慧喇叭擺放位置的影響，進而協助廠商了解消費者在使用時，可能會面臨的潛在問題，並有機會及早改善並免上市後接到客訴之窘境。若有需要任何諮詢相關測試的需求，還請聯繫百佳泰。