企業級儲存設備（Enterprise Storage）運用趨勢與效能評量驗證

企業級儲存裝置正逐漸改變​

2014年的今天，輕薄短小資訊產品引領全球消費者往下一個世代邁進。從智慧型手幾、平板到穿戴式裝置，不僅改變個人的行為模式，也讓許多企業發展出新的營運模式。因應新科技帶來的便利，即時的資料存取，分享與傳輸亦越來越重要。對許多企業來說，大量的資料存取幾乎是時時刻刻都需要的。在眾多消費產品與服務需求的背後，雲端伺服器與更進階的儲存設備則是不可或缺的功臣。

一般而言，企業級（Enterprise）資訊應用可概分為企業內資訊系統與雲端網路服務，前者可能建置、運轉於公司內部或放置於資料中心委外管理，使用者為公司內部或特定客戶；後者則是建置、運轉於資料中心，針對不特定大眾提供資訊服務；兩者雖然在規模與使用者對象有所差異，但是對於營運品質與服務水準（SLA）都遠比一般家庭及個人資訊系統的要求更高，例如要求24×7不中斷的高可靠度（Reliability）、高可用性（Availability），以及滿足快速、大量存取的高效能（Performance）與高穩定性（Stability），除此之外，更希望達到最低的建置與營運成本（Total Cost of Ownership，TCO）。

企業級資訊系統除了軟體與機房內的電力、空調與網路等基礎設施外，最重要的就是伺服器本身。企業用伺服器內的組成可概分為三大主要部分：運算、儲存與網路。由於伺服器本身目前技術架構限制，運算速度（CPU, RAM）仍普遍遠快於儲存速度，因此各種研究、應用不斷投入在儲存裝置上，以期提升企業用伺服器之整體效能。其中「固態硬碟」由於其本質上為電子訊號讀寫以及多通道存取特性，無傳統硬碟（HDD）的機械讀取限制，使其讀寫速度較HDD快並在耗電性表現上更佳，然而過去由於NAND Flash每GB單位價格較高，且存在可靠性與使用壽命疑慮，並未大量應用在企業級系統上，近來隨NAND Flash製程技術不斷提升（1xnm, 3D NAND Flash）而使成本不斷下降，以及藉由各項控制器、韌體技術改進可靠性及使用壽命後，各種企業級SSD的發表與彈性應用使得這項產品展現出不一樣的契機。以消費級SSD而言，目前售價約是八年前的三十分之一，從2006年SSD初發表時的售價是$45/GB驟降至2014年的零售價$0.8 /GB；企業級SSD的每GB價格則是由2007年的$8.32/GB下降到2013年的$0.63/GB，並可能持續下降至$0.52/GB（DRAMeXchange, May 2013）；此外，如下圖所示，Gartner更預測企業級SSD（伺服器用以及儲存用）每GB單位價格於2017年時將會下降至2012年的12~14%。

 

由於價格下降與技術創新，我們可以預期各種企業級SSD應用將大幅成長；根據HGST於2013年發表的數據統計顯示（下圖），目前歐美已經有將近16%企業開始使用SSD當作儲存媒介，其他尚在觀望的公司也開始思考採用SSD的可行性，更有公司預定將其1/3的儲存設備替換成SSD裝置，同時各家的伺服器廠商也都紛紛推出內含SSD裝置的產品，因此我們可以預估企業級SSD產品的產能將會逐漸開始顯著上升。

 

由IT Brand Pulse所進行的調查結果亦顯示，多數企業認為SSD是過去兩年內IT技術上最關鍵及顯著的改變。

 

一般的企業伺服器或是雲端資料儲存架構有三大類型：

 

DAS （Direct Attach Storage）

直接將儲存裝置堆疊連接至各類企業級伺服器上作為資料存取的空間。設備建構費用為三大類型中最便宜也最容易完成。

 

NAS （Network Attached Storage）

將儲存系統透檔案伺服器直接連接到區域網路上，檔案伺服器是專為資料存取而設計，速度與效能上較DAS佳。這類型設備建構的費用與技術上雖較DAS高，但能有效的滿足需要存取與共享大量文件資料系統的企業環境，比較受一般中大型企業採用。

 

MySQLSAN （Storage Area Network）

SAN則是將儲存裝置從區域網路獨立出來，成為另一個網路，透過專屬的高速網路或是光纖的連結來達到伺服器與儲存設備間多對多的高速串連，整體擴充性佳，可以在不增加伺服器與區網負擔的狀況下擴充。也因SAN具備高效率的傳輸速度，特別適合存放運算工作量大的資料，但最大的挑戰則是建構費用高且費時。

 

在這些企業級SSD應用當中，一般來說有以下幾種使用情境方式：

• 以SSD直接取代HDD作為Production Disk：以查詢、讀取為主要的資訊系統，例如Web server，對於效能要求高且較無資料備份疑慮。直接以SSD取代HDD，且無須採用到最高等級的SLC Flash，並可以在合理的成本範圍內獲得相當高的效能投資報酬率。

• 以SSD取代RAM Disk作為Tier 0 Storage：針對寫入動作多、Disk I/O頻繁的系統，例如：金融、線上交易或影音編輯。傳統HDD在無法負荷的狀況，一般可以升級更快速的磁碟陣列（整體擁有成本TCO卻更高），將資料分散在多個磁碟來加速，但同時會增加資料丟失風險，或是考慮採用SSD作為Tier 0 Storage。雖然RAM Disk可以獲得比SSD更高的效能，但是相同容量的SSD卻能擁有更佳的成本效益（約為5倍）。一個典型包含多個Tier的儲存媒體系統設計如下表以及下圖所示，能以資料對效能、存取頻繁度等來規劃各種媒介的使用：

 

企業級SSD的品質要求

企業級SSD對於各項規格與品質，與一般消費型SSD不同且要求更高，兩者差異主要表現在以下幾點上：

而企業級資訊系統對於儲存媒體Storage較消費級則有更為嚴謹的要求：

在進一步了解企業級SSD品質驗證之前，藉由說明企業級以及消費級的SSD產品其所採用的NAND Flash 差異性，我們更能夠清楚的認識其根本的差別：

• 企業級SSD使用PCIe/SAS/NVMe介面，消費級SSD使用SATA介面
• 企業級SSD使用SLC/eMLC Flash，消費級SSD使用MLC/TLC Flash
• 消費級SSD選擇順序：價格/容量/效能/資料可靠性（Data Integrity）
• 企業級SSD選擇順序：資料可靠性/效能/容量/價格
• 企業應用要求高資料可用性（Data Redundancy）
• 企業應用要求穩定的效能（Stable Performance）
• 企業應用要求高可靠性（Greater Endurance）
• 企業應用要求額外的容量餘裕（Additional Raw Capacity）
• 企業應用要求節省空間、能源、維護成本（Cost Saving on Space, Energy & Maintenance）
• 企業應用要求客製以符合特定需求（Custom applications for specific needs）

 

 

由上表可以明顯看出，由於抹寫次數（P/E Cycle）是影響Flash壽命（Endurance）的最關鍵因素，企業級SSD往往需要兩到三倍以上的抹寫次數，因此對於增進產品可靠性而言相當重要。下圖亦顯示出P/E Cycle與Endurance明顯的正比關係，隨著Flash製程尺寸縮小，雖然相同面積內可產出更多Flash而使成本降低，但是因為浮閘記憶體（Floating-gate Non- Volatile Semiconductor Memory）的物理限制也導致P/E Cycle隨之下降。

 

此外，由於Flash抹除後再寫入（Re-write before Erase）的特性，導致Write Amplification（實際寫入量大於邏輯寫入量）的現象使得Endurance壽命加速減少，因此各項技術如Trim、Garbage Collection、Caching、Compression、Over-provisioning、Wear Leveling等，也被開發出來用於降低其負面影響，但由於各家Flash品質與controller、firmware的配合度與設計品質差異，常見且可預期的問題如Data Integrity、Performance Stability、Performance Degradation、Endurance等，仍將是影響SSD品質的主要關鍵。

 

企業級SSD效能的評量與驗證

在驗證SSD效能方面，考慮因素除了資料吞吐量（Throughput），讀寫效能（IOPS, I/O Per Second）也是考慮的關鍵之一。坊間有多樣評測軟體可以測得SSD產品的讀寫效能，但是不同軟體有各自的專長領域，要如何正確使用評測軟體來評量SSD的效能就有賴豐富的經驗了。百佳泰投入SSD產品測試研究領域多年，針對各類產品特性與測試開發多有心得，讓我們先用大家熟知的測試工具IO Meter來對七個不同型號SSD做讀寫效能的分析。我們選取Samsung（四個不同型號）與Intel（三個不同型號）販售的SATA 6G SSD來當作標的物，比較特別的是，Samsung的SSD是歸類為Consumer等級產品而Intel的SSD則是歸類為Enterprise等級產品。

當我們完成第一次測試之後，我們得到以下結果：Samsung SSD在小檔案的讀寫效能上（512Byter ~32K byte）領先Intel Enterprise SSD，大獲全勝。這樣的結果應該會讓不少人心中吶悶，何以消費型的產品效能領先企業級的產品呢？

 

先別急著下判斷，讓我們再用另外一個腳本來驗證一下這幾款SSD的IOPS讀寫效能：長時間24小時的多種檔案讀寫。

在24小時的效能評測之後，我們可以觀察到INTEL Enterprise 等級SSD的讀寫效能（IOPS）卻有5-9倍優於Samsung Consumer等級SSD的讀寫效能（IOPS）。這樣的結果是有其道理的，企業級的產品，強調的重點是在長效性能的維持，而短時間的評比觀察則不太容易看出這個結果。這個結果也呼應了前面我們提到要用正確的方式來評測SSD的效能的重要性。

 

因為整個企業儲存設備的使用狀況與環節多元且複雜度高，即便選用了高穩定高效能的SSD產品於儲存設備中，仍無法保證會有高效能及高穩定度。需要有更深度的情境模擬測試，才能得知產品在整體使用上可能達到的效能。

 

企業級SSD的相關應用

根據IT Brand Pulse的調查（下圖），企業一般認為「虛擬化應用」與「資料庫」是推動SSD應用的主要服務，因此針對企業常用的服務，根據各個不同的環境規模，我們建議採用三種主要的效能評量與驗證，並針對各項說明如下：

• 資料庫Benchmark – SysBench MySQL
• 虛擬化架構Benchmark – VMmark
• 虛擬桌面架構Benchmark – Login VSI

 

 

MySQL

MySQL作為企業使用的資料庫系統已經有多年歷史，最大的優點就是效能高、成本低且可靠度高。此產品近幾年並由資料庫大廠Oracle收購成為其旗下之一產品，目前Oracle官方推薦的MySQL驗證軟體即為SysBench，SysBench的幾個特色如下，對企業用戶來說，OLTP Benchmark這個驗證項目相對重要：

• MySQL資料庫 – SysBench Benchmark
  • File I/O performance
  • Scheduler performance
  • Memory allocation and transfer speed
  • POSIX threads implementation performance
  • Database server performance (OLTP benchmark)

 

SysBench

SysBench是以OLTP基準測試來衡量儲存裝置在MySQL資料庫上運作的效能。我們以此項效能驗證軟體模擬200個使用者的中型企業資料庫環境，測試設定使用100個table同時運算，每個table有一千萬筆資料（總數十億筆資料，資料量約264GB）。如下表所示，我們挑選市面上3個企業級PCIe SSD為受測儲存裝置，並考量儲存裝置在不同的Buffer Pool Size設定和多個Thread設定下的性能表現。

 

下圖為PCIe SSD在不同Thread設定下的效能表現（平均反應時間）。以50ms為較合理的反應時間為考量，三個受測儲存裝置的最好表現都落在Thread數為16到32之間。當Thread數設定在64時，三個受測SSD的反應時間都超過50ms，表示在此狀況下，已經超過三款SSD的理想值；而當Thread數設定在128到256時，則三個受測SSD的平均反應時間都明顯拉高。

 

從資料吞吐量（Throughput）來看，我們將BufferPool Size分別設定為10GB、20GB與30GB，並配合不同的Thread數量進行壓力測試。發現以30GB Buffer Pool Size和64 Thread的設定是三個SSD最優異的Throughput表現。而由下圖結果可以明顯看出三個SSD效能在此設定下的高低差異以及效能穩定性分布狀況。

 

虛擬化架構Benchmark – VMmark

傳統的伺服器架構讓伺服器一次只能運作一種作業系統，且多數伺服器的運作效益發揮不到20%，VMWARE系統將作業系統和應用程式從實體硬體中抽離，靈活且簡化伺服器環境，解決傳統伺服器傳統一對一架構的問題，讓伺服器的資源達到最有效的運用。VMWARE官方推薦的 Server Virtualization 驗證軟體VMmark，其架構上是由多個伺服器的資料中心組成的虛擬環境，以產生企業用戶資料中心的實際工作量，用以衡量整個虛擬化環境的整體效能，非常適合用來對VM架構做驗證。

VMmark使用多個Tile架構（如下圖共有9個Tile，一個Tile則擁有8個虛擬伺服器），而可承受越多個Tile執行測試則代表受測系統其虛擬化環境的效能與擴展性越強大。除了虛擬化系統運轉外，VMmark也將虛擬化架構下的複製、部署、動態遷移等常用的運作納入整體的性能評分。

 

一個Tile則擁有8個虛擬伺服器包含著以下的服務內容：

• Database server
• Java server
• Mail server
• Web server
• File serve

 

VMmark的測試結果由「Application Score」與「Infrastructure Score」加權平均之後組成，可用來衡量各個獨立的虛擬伺服器的效能。下列表格為取自VMMARK 官方網站的標竿測試值範例：

1. 性能越好的系統可以支援的Tile 數量越多
2. 每個Tile 的分數包含著8種虛擬伺服器服務項目的分數

 

虛擬桌面架構Benchmark – Login VSI

大型企業的IT人員在管理大量的PC作業系統時常常需要服務到每一台個人電腦的設定, 這造成IT人員疲於奔命於解決不同使用上的問題，透過虛擬桌面架構（Virtual Desktop Infrastructure，VDI）技術，IT部門整併使用者共同的桌面資源，讓使用者用相同一套作業系統與桌面軟體等，並能將資料集中存放於共用的儲存設備，搭配分層儲存與重複資料刪除等技術有效運用儲存空間，節約的個人系統的上硬體的重複投資，節省了個別系統的更新，更降低了儲存資料外洩的可能性。Login VSI是一個衡量虛擬桌面架構和伺服器集中運算環境的整體性能表現測試軟體，多為業界測試虛擬桌面架構及伺服器集中運算環境使用，支援以下多種虛擬桌面系統：

• Citrix XenApp
• XenDesktop
• VMware Horizon View
• Microsoft Remote Desktop Services

 

Login VSI測試特點如下：

• 標準化管理不同的虛擬桌面工具，藉此作出正確的決策
• 經由準確估算您的虛擬桌面架構來了解硬體數量的需求
• 利用壓力測試來深入了解環境的最大容量
• 在使用前先測試變化帶給虛擬桌面架構的影響

 

Login VSI藉由模擬多人同時登入使用VDI環境，驗證系統能夠提供最大有效使用者上線人數與不同使用者數量所測得的執行反應時間（Response time, ms）。在虛擬桌面架構和伺服器集中運算環境下，執行反應時間是個關鍵的性能指標，以下圖的業者測試結果為例，我們可以發現在相同的硬體架構下，SAS硬碟最多僅能承受83個使用者，而採用SSD卻可以支撐超過160個使用者；同時，在相同的使用者數目下，採用SSD的反應時間均遠較採用SAS硬碟者快上許多。

 

除了以上三種企業應用情境的Benchmark，SNIA（Storage Networking Industry Association）協會所制定的企業級SSD效能測試規格（Solid State Storage Performance Test Specification Enterprise v1.1）所規範的測試要點，其中特別要求受測SSD應在Steady State進行測試，此項要求是考量企業級SSD實際應用時，並非處於FOB（Fresh out of box）狀態，故SSD的實際效能量測應使其先經過一段時間讀寫之後所處的穩定狀況為參考基準。由於各家SSD Flash參數與Controller設計考量不一，Steady State階段所呈現的效能與FOB階段之間的差異可能相當大，測試驗證時必須特別注意。

 

結語

本文針對企業級SSD運用趨勢、品質驗證與效能評量做了一系列完整的介紹，除此之外，完整的企業級SSD產品驗證應納入不同設計/製造階段的考量，包含從EVT（Engineering Verification Testing）、DVT（Design Verification Test）、RDT （Reliability Demonstration Test），以及進入量產階段時的ORT（Ongoing Reliability Test）。另外，希望本文所介紹的企業級SSD效能評量工具，能給予硬體廠商、軟體設計或IT管理人員方向，據以估計企業級SSD或整體架構的性能，判斷環境擴充的需求，以做出準確的決策。

 

*本文同步刊登於《新電子科技雜誌》