現今智慧電視功能繁多、開發複雜，若只仰賴瀑布式(Waterfall)的品質確認流程，容易因前面環節的推遲影響測試時程和內容，導致未能發現產品重大缺陷或來不及修復，進而衍生出產品延後上市、客訴層出不窮的窘境。
為了協助客戶解決市場風險，百佳泰運用敏捷式(Agile)迭代(Iteration)概念，搭配探索性測試(Exploratory Testing)戰略，讓電視產品無論是在開發前、中、後期甚至是上市後，皆能對產品進行客製化弱點分析及策略規劃，百佳泰更會在測試執行期間與產品開發團隊緊密合作、即時提出建議，讓後續的產品開發與檢測時程上有更多的調整與應變空間。
圖：瀑布式(Waterfall)與敏捷式(Agile)測試架構的流程比較
至於什麼是探索性測試? 以及如何建構出高效的測試戰略，讓產品檢測達到事半功倍的效果? 我們將在本篇文章中為您一一說分明。
從「探索」中找出問題落點，從「測試」中分析關鍵問題
如果你曾經看過Netflix上的超人氣賽車影集「Formula 1：飆速求生」，相信你絕對會對F1頂尖車隊的團隊策略和專業分工感到印象深刻。舉凡像是機械工程師的性能調校、策略組的沙盤推演、車手的意見回饋及電光石火的進站換胎等等，哪怕是比賽途中突然間遭逢「雨戰」，無時無刻都在考驗著車隊上下的團隊合作和應變能力。
而探索性測試的概念就好比一支訓練有素的F1專業團隊，比賽前，運籌帷幄的策略小組會調查現況、制定最佳策略；比賽中，身經百戰的車手則依場上實際狀況執行戰術和臨機應變，最終一同在賽後分析結果，做為下一場賽事的學習與參考，整個賽季周而復始。其中，策略的制定與執行並不是呆板的一個步驟一個動作，而是能夠舉一反三、靈活運用！因此，高效的探索性測試著重於分析者與測試者的實務經驗，唯有制定對的方向並搭配豐富的測試經驗，才能有效率地探索並找出關鍵問題！搞懂了探索性測試的基本概念後，接下來帶你進一步比較探索性測試所帶來的效益及應用時機。
基本檢測還不夠? 加上探索性測試深入挖掘產品潛在問題
假設在相同的「情境結構」與「測試時間」基準的前提下，我們從下方的測試節點模擬比較中可以看出：相較於過往的基本測試，探索性測試是依據產品現階段所發現到的問題並憑藉測試者的經驗，針對「高風險方向」的重點問題進行更深入的探索，再從中挖掘潛藏在產品中的嚴重問題。
圖：探索性測試與基本測試之模擬比較圖
從比較表可知，探索性測試並非用來取代一般的基本檢測，而是需要彼此相輔相成，互相搭配，才能在產品測試階段發揮最大的綜效。因此，通常建議在以下的應用時機執行探索性測試
正在開發中的產品：執行完基本檢測後，再針對容易發生問題的部分執行探索性測試，找出潛在的嚴重問題。
新增產品功能或有重大修正：針對相關功能執行探索性測試，確認有無潛在問題。
已上市產品：根據客訴問題或使用者回饋，執行探索性測試以有效改善品質。
百佳泰探索性測試服務4階段 全方面評估 + 客製化測試讓產品問題無所遁形
百佳泰團隊以第三方的角度與立場，憑藉在電視檢測領域多年經驗，可提供最專業的探索性測試服務：
Step 1 了解：執行測試前和客戶溝通與討論，從產品規格/測試問題清單/使用者回饋等資料中了解目前重點問題。
Step 2 設計：將資料加以分析後，針對關鍵設備、情境、檢查要點擬定測試策略及範圍標的。
Step 3 執行：由擁有豐富測試經驗的團隊依據擬定好的測試策略執行探索測試。
Step 4 分析：根據測試結果提供分析與建議報告。
實測案例分享
測試背景
該名客戶已自行對自家電視產品進行基本檢測，但產品上市後依舊收到如雪片般飛來的客訴問題，當中很多問題在產品上市前未曾被發現，於是決定委託百佳泰針對該產品進行客製化檢測，期望找出造成品質缺陷的關鍵原因。
測試規劃
由客訴問題可初步判斷，產品在HDMI、Bluetooth、Wi-Fi等功能上皆有問題，百佳泰團隊隨即根據客戶提供的問題清單及市場使用者回饋，分別就關鍵設備、情境以及檢查要點，制定探索性測試之策略與方向。
產品問題舉例
- 接上藍牙耳機，使用了一段時間後，開始發生聲音斷斷續續、雜音或不同步的問題。
- 在某些設定組合下，電視喇叭與音響設備會有聲音輸出/切換不穩定、相容性問題。
- 只要串接上藍牙聲音設備，或是切換串流平台、電視開關機…等操作下，就會有黑畫面或是嚴重的影像問題。
- 某些連接情境下，HDMI-CEC之One Touch Play和Power on Device from TV功能異常。
- 連接上某些市場主流的HDMI-CEC設備時會有辨識異常或是整體裝置清單顯示異常/不同步的現象。
- 無線網路連線在開關機後，某些條件下會有連線異常/狀態顯示異常。
- 背板插槽設計不良，導致有些外部插拔裝置無法順利插入。
測試結果分析
整體來說，在只有一台DUT的情況下，百佳泰僅花5個工作天便找到26筆問題，並依據問題的嚴重程度分成四個等級(見下表)，其中Critical 加上Medium的問題就足足累積了19筆，合計占比高達 73%，以一個已上市多時的產品而言，品質可說是相當不穩定。
在問題類型分布方面，除了當初主要測試的HDMI、Wi-Fi及Bluetooth等問題外，透過探索性測試竟還另外找出Sound、UX/UI、Picture(畫質) 等共15個問題，占了整體問題數量的58%，其中Sound和Picture更是有5個Critical等級的問題，這結果是客戶始料未及的。
圖：探索性實測案例：問題類型分佈
而在機構設計部分，由於該產品在開發設計規劃時未考量到部分功能需與其他外部插拔裝置做搭配使用(如下圖)，導致無法順利使用，除了影響使用者體驗外，長期使用下最壞的情況甚至有可能造成產品部分功能毀損。此問題雖然並未歸類在Critical等級，但以使用者體驗角度來說也是至關重要的一環。
圖：機構設計實例比較
(左)插槽設計不良，電視棒若硬插入會造成HDMI孔扭曲毀損
圖：機構設計實例比較
(右)插槽預留空間寬裕，可輕鬆插入電視棒
建議與方針舉例
百佳泰依據測試結果及多年的測試經驗，提供客戶以下建議：
相容性建議：單單使用幾台Soundbar/AVR/Headphone就有如此多的問題，市場上恐怕已有為數不少的相容性問題正在發生，建議進一步執行大規模HDMI/Bluetooth音響或耳機設備(至少150+台以上)之相容性測試，才能確保產品相容性無虞。
產品功能基本面建議：雖然客戶已自行經過檢測才將產品上市，但我們發現許多HDMI基本協定功能皆有問題，建議針對HDMI Logo認證測試方向做進一步調查，找出問題根本。
機構設計及使用者介面建議：有些機構設計未考量周邊產品搭配性問題，且使用者介面也未整合優化，建議針對市占率較高的周邊產品及主要競爭電視產品進行相關檢測及設計改善，全面提升市場競爭力。
透過上述的真實案例可知，若想要盡可能地避免產品在上市後產生大量客訴，進而影響公司商譽，建議可以在產品開發階段就搭配「探索性測試」，及早找出產品潛在問題和設計缺陷，在產品上市前適時修正問題，減少客訴機率。
百佳泰擁有30年以上的測試驗證經驗，多年來致力於研發創新檢測服務，協助客戶解決各式產品問題，若您想更進一步了解，或是有相關產品驗證需求，歡迎您透過線上表單與我們聯繫。百佳泰服務團隊將誠摯為您服務！
