2014年的今天，輕薄短小信息產品引領全球消費者往下一個世代邁進。從智能手機、平板到穿戴式裝置，不僅改變個人的行為模式，也讓許多企業(yè)發(fā)展出新的營運模式。因應新科技帶來的便利，實時的數(shù)據(jù)存取，分享與傳輸亦越來越重要。對許多企業(yè)來說，大量的數(shù)據(jù)存取幾乎是時時刻刻都需要的。在眾多消費產品與服務需求的背后，云端服務器與更進階的儲存設備則是不可或缺的功臣。

一般而言，企業(yè)級（Enterprise）信息應用可概分為企業(yè)內信息系統(tǒng)與云端網絡服務，前者可能建置、運轉于公司內部或放置于數(shù)據(jù)中心委外管理，使用者為公司內部或特定客戶；后者則是建置、運轉于數(shù)據(jù)中心，針對不特定大眾提供信息服務；兩者雖然在規(guī)模與用戶對象有所差異，但是對于營運品質與服務水平（SLA）都遠比一般家庭及個人信息系統(tǒng)的要求更高，例如要求24×7不中斷的高可靠度（Reliability）、高可用性（Availability），以及滿足快速、大量存取的高效能（Performance）與高穩(wěn)定性（Stability），除此之外，更希望達到最低的建置與營運成本（Total Cost of Ownership，TCO）。

企業(yè)級信息系統(tǒng)除了軟件與機房內的電力、空調與網絡等基礎設施外，最重要的就是服務器本身。企業(yè)用服務器內的組成可概分為三大主要部分：運算、儲存與網絡。由于服務器本身目前技術架構限制，指令周期（CPU, RAM）仍普遍遠快于儲存速度，因此各種研究、應用不斷投入在儲存裝置上，以期提升企業(yè)用服務器的整體效能。其中「固態(tài)硬盤」由于其本質上為電子訊號讀寫以及多信道存取特性，無傳統(tǒng)硬盤（HDD）的機械讀取限制，使其讀寫速度較HDD快并在耗電性表現(xiàn)上更佳，然而過去由于NAND Flash每GB單位價格較高，且存在可靠性與使用壽命疑慮，并未大量應用在企業(yè)級系統(tǒng)上，近來隨NAND Flash制程技術不斷提升（1xnm, 3D NAND Flash）而使成本不斷下降，以及藉由各項控制器、韌體技術改進可靠性及使用壽命后，各種企業(yè)級SSD的發(fā)表與彈性應用使得這項產品展現(xiàn)出不一樣的契機。以消費級SSD而言，目前售價約是八年前的三十分之一，從2006年SSD初發(fā)表時的售價是$45/GB驟降至2014年的零售價$0.8 /GB；企業(yè)級SSD的每GB價格則是由2007年的$8.32/GB下降到2013年的$0.63/GB，并可能持續(xù)下降至$0.52/GB（DRAMeXchange, May 2013）；此外，如下圖所示，Gartner更預測企業(yè)級SSD（服務器用以及儲存用）每GB單位價格于2017年時將會下降至2012年的12~14%。

圖 1, Source: Gartner 2013 Forecast, SMART Storage Systems, Flash Memory Summit 2013

由于價格下降與技術創(chuàng)新，我們可以預期各種企業(yè)級SSD應用將大幅成長；根據(jù)HGST于2013年發(fā)表的數(shù)據(jù)統(tǒng)計顯示（下圖），目前歐美已經有將近16%企業(yè)開始使用SSD當作儲存媒介，其他尚在觀望的公司也開始思考采用SSD的可行性，更有公司預定將其1/3的儲存設備替換成SSD裝置，同時各家的服務器廠商也都紛紛推出內含SSD裝置的產品，因此我們可以預估企業(yè)級SSD產品的產能將會逐漸開始顯著上升。

圖 2, Source: HGST, Flash Memory Summit 2013

由IT Brand Pulse所進行的調查結果亦顯示，多數(shù)企業(yè)認為SSD是過去兩年內IT技術上最關鍵及顯著的改變。

圖 3, Source: IT Brand Pulse, Flash Memory Summit 2013

一般的企業(yè)服務器或是云端數(shù)據(jù)儲存架構有三大類型：

1. DAS （Direct Attach Storage）

直接將儲存設備堆棧連接至各類企業(yè)級服務器上作為數(shù)據(jù)存取的空間。設備建構費用為三大類型中最便宜也最容易完成。

2. NAS （Network Attached Storage）

將儲存系統(tǒng)透文件服務器直接連接到局域網絡上，文件服務器是專為數(shù)據(jù)存取而設計，速度與效能上較DAS佳。這類型設備建構的費用與技術上雖較DAS高，但能有效的滿足需要存取與共享大量文件數(shù)據(jù)系統(tǒng)的企業(yè)環(huán)境，比較受一般中大型企業(yè)采用。

3. SAN （Storage Area Network）

則是將儲存裝置從局域網絡獨立出來，成為另一個網絡，透過專屬的高速網絡或是光纖的鏈接來達到服務器與儲存設備間多對多的高速串連，整體擴充性佳，可以在不增加服務器與區(qū)網負擔的狀況下擴充。也因SAN具備高效率的傳輸速度，特別適合存放運算工作量大的數(shù)據(jù)，但最大的挑戰(zhàn)則是建構費用高且費時。

在這些企業(yè)級SSD應用當中，一般來說有以下幾種使用情境方式：

• 以SSD直接取代HDD作為Production Disk：以查詢、讀取為主要的信息系統(tǒng)，例如Web server，對于效能要求高且較無數(shù)據(jù)備份疑慮。直接以SSD取代HDD，且無須采用到最高等級的SLC Flash，并可以在合理的成本范圍內獲得相當高的效能投資報酬率。

• 以SSD取代RAM Disk作為Tier 0 Storage：針對寫入動作多、Disk I/O頻繁的系統(tǒng)，例如：金融、在線交易或影音編輯。傳統(tǒng)HDD在無法負荷的狀況，一般可以升級更快速的磁盤陣列（整體擁有成本TCO卻更高），將數(shù)據(jù)分散在多個磁盤來加速，但同時會增加數(shù)據(jù)丟失風險，或是考慮采用SSD作為Tier 0 Storage。雖然RAM Disk可以獲得比SSD更高的效能，但是相同容量的SSD卻能擁有更佳的成本效益（約為5倍）。一個典型包含多個Tier的儲存媒體系統(tǒng)設計如下表以及下圖所示，能以數(shù)據(jù)對效能、存取頻繁度等來規(guī)劃各種媒介的使用：

圖 4, Source: DELL Storage, Flash Memory Summit 2013

企業(yè)級SSD的質量要求

企業(yè)級SSD對于各項規(guī)格與質量，與一般消費型SSD不同且要求更高，兩者差異主要表現(xiàn)在以下幾點上：

• 企業(yè)級SSD使用PCIe/SAS/NVMe接口，消費級SSD使用SATA接口
• 企業(yè)級SSD使用SLC/eMLC Flash，消費級SSD使用MLC/TLC Flash
• 消費級SSD選擇順序：價格/容量/效能/數(shù)據(jù)可靠性（Data Integrity）
• 企業(yè)級SSD選擇順序：數(shù)據(jù)可靠性/效能/容量/價格

而企業(yè)級信息系統(tǒng)對于儲存媒體Storage較消費級則有更為嚴謹?shù)囊螅?/span>

• 企業(yè)應用要求高數(shù)據(jù)可用性（Data Redundancy）
• 企業(yè)應用要求穩(wěn)定的效能（Stable Performance）
• 企業(yè)應用要求高可靠性（Greater Endurance）
• 企業(yè)應用要求額外的容量余裕（Additional Raw Capacity）
• 企業(yè)應用要求節(jié)省空間、能源、維護成本（Cost Saving on Space, Energy & Maintenance）
• 企業(yè)應用要求客制以符合特定需求（Custom applications for specific needs）

在進一步了解企業(yè)級SSD質量驗證之前，藉由說明企業(yè)級以及消費級的SSD產品其所采用的NAND Flash 差異性，我們更能夠清楚的認識其根本的差別：

由上表可以明顯看出，由于抹寫次數(shù)（P/E Cycle）是影響Flash壽命（Endurance）的最關鍵因素，企業(yè)級SSD往往需要兩到三倍以上的抹寫次數(shù)，因此對于增進產品可靠性而言相當重要。下圖亦顯示出P/E Cycle與Endurance明顯的正比關系，隨著Flash制程尺寸縮小，雖然相同面積內可產出更多Flash而使成本降低，但是因為浮閘內存（Floating-gate Non- Volatile Semiconductor Memory）的物理限制也導致P/E Cycle隨之下降。

圖 5, Source: OCZ Technology, Flash Memory Summit 2013

此外，由于Flash抹除后再寫入（Re-write before Erase）的特性，導致Write Amplification（實際寫入量大于邏輯寫入量）的現(xiàn)象使得Endurance壽命加速減少，因此各項技術如Trim、Garbage Collection、Caching、Compression、Over-provisioning、Wear Leveling等，也被開發(fā)出來用于降低其負面影響，但由于各家Flash質量與controller、firmware的配合度與設計質量差異，常見且可預期的問題如Data Integrity、Performance Stability、Performance Degradation、Endurance等，仍將是影響SSD質量的主要關鍵。

企業(yè)級儲存設備效能的評量與驗證

在驗證SSD效能方面，考慮因素除了數(shù)據(jù)吞吐量（Throughput），讀寫效能（IOPS, I/O Per Second）也是考慮的關鍵之一。坊間有多樣評測軟件可以測得SSD產品的讀寫效能，但是不同軟件有各自的專長領域，要如何正確使用評測軟件來評量SSD的效能就有賴豐富的經驗了。百佳泰投入SSD產品測試研究領域多年，針對各類產品特性與測試開發(fā)多有心得，讓我們先用大家熟知的測試工具IO Meter來對七個不同型號SSD做讀寫效能的分析。我們選取Samsung（四個不同型號）與Intel（三個不同型號）銷售的SATA 6G SSD來當作標的物，比較特別的是，Samsung的SSD是歸類為Consumer等級產品而Intel的SSD則是歸類為Enterprise等級產品。

當我們完成第一次測試之后，我們得到以下結果：Samsung SSD在小檔案的讀寫效能上（512Byter ~32K byte）領先Intel Enterprise SSD，大獲全勝。這樣的結果應該會讓不少人心中吶悶，何以消費型的產品效能領先企業(yè)級的產品呢？

先別急著下判斷，讓我們再用另外一個腳本來驗證一下這幾款SSD的IOPS讀寫效能：長時間24小時的多種檔案讀寫。

在24小時的效能評測之后，我們可以觀察到INTEL Enterprise 等級SSD的讀寫效能（IOPS）卻有5-9倍優(yōu)于Samsung Consumer等級SSD的讀寫效能（IOPS）。這樣的結果是有其道理的，企業(yè)級的產品，強調的重點是在長效性能的維持，而短時間的評比觀察則不太容易看出這個結果。這個結果也呼應了前面我們提到要用正確的方式來評測SSD的效能的重要性。

因為整個企業(yè)儲存設備的使用狀況與環(huán)節(jié)多元且復雜度高，即便選用了高穩(wěn)定高效能的SSD產品于儲存設備中，仍無法保證會有高效能及高穩(wěn)定度。需要有更深度的情境模擬測試，才能得知產品在整體使用上可能達到的效能。

根據(jù)IT Brand Pulse的調查（上圖），企業(yè)一般認為「虛擬化應用」與「數(shù)據(jù)庫」是推動SSD應用的主要服務，因此針對企業(yè)常用的服務，根據(jù)各個不同的環(huán)境規(guī)模，我們建議采用三種主要的效能評量與驗證，并針對各項說明如下：

• 數(shù)據(jù)庫Benchmark – SysBench MySQL
• 虛擬化架構Benchmark – VMmark
• 虛擬桌面架構Benchmark – Login VSI

? MySQL數(shù)據(jù)庫 – SysBench Benchmark

MySQL作為企業(yè)使用的數(shù)據(jù)庫系統(tǒng)已經有多年歷史，最大的優(yōu)點就是效能高、成本低且可靠度高。此產品近幾年并由數(shù)據(jù)庫大廠Oracle收購成為其旗下之一產品，目前Oracle官方推薦的MySQL驗證軟件即為SysBench，SysBench的幾個特色如下，對企業(yè)用戶來說，OLTP Benchmark這個驗證項目相對重要：

• File I/O performance
• Scheduler performance
• Memory allocation and transfer speed
• POSIX threads implementation performance
• Database server performance (OLTP benchmark)

SysBench是以OLTP基準檢驗來衡量儲存裝置在MySQL數(shù)據(jù)庫上運作的效能。我們以此項效能驗證軟件仿真200個用戶的中型企業(yè)數(shù)據(jù)庫環(huán)境，測試設定使用100個table同時運算，每個table有一千萬筆數(shù)據(jù)（總數(shù)十億筆數(shù)據(jù)，數(shù)據(jù)量約264GB）。如下表所示，我們挑選市面上3個企業(yè)級PCIe SSD為受測儲存裝置，并考慮儲存裝置在不同的Buffer Pool Size設定和多個Thread設定下的性能表現(xiàn)。

下圖為PCIe SSD在不同Thread設定下的效能表現(xiàn)（平均反應時間）。以50ms為較合理的反應時間為考慮，三個受測儲存裝置的最好表現(xiàn)都落在Thread數(shù)為16到32之間。當Thread數(shù)設定在64時，三個受測SSD的反應時間都超過50ms，表示在此狀況下，已經超過三款SSD的理想值；而當Thread數(shù)設定在128到256時，則三個受測SSD的平均反應時間都明顯拉高。

從數(shù)據(jù)吞吐量（Throughput）來看，我們將BufferPool Size分別設定為10GB、20GB與30GB，并配合不同的Thread數(shù)量進行壓力測試。發(fā)現(xiàn)以30GB Buffer Pool Size和64 Thread的設定是三個SSD最優(yōu)異的Throughput表現(xiàn)。而由下圖結果可以明顯看出三個SSD效能在此設定下的高低差異以及效能穩(wěn)定性分布狀況。

虛擬化架構Benchmark – VMmark

傳統(tǒng)的服務器架構讓服務器一次只能運作一種操作系統(tǒng)，且多數(shù)服務器的運作效益發(fā)揮不到20%，VMWARE系統(tǒng)將操作系統(tǒng)和應用程序從實體硬件中抽離，靈活且簡化服務器環(huán)境，解決傳統(tǒng)服務器傳統(tǒng)一對一架構的問題，讓服務器的資源達到最有效的運用。VMWARE官方推薦的 Server Virtualization 驗證軟件VMmark，其架構上是由多個服務器的數(shù)據(jù)中心組成的虛擬環(huán)境，以產生企業(yè)用戶數(shù)據(jù)中心的實際工作量，用以衡量整個虛擬化環(huán)境的整體效能，非常適合用來對VM架構做驗證。

VMmark使用多個Tile架構（如下圖共有9個Tile，一個Tile則擁有8個虛擬服務器），而可承受越多個Tile執(zhí)行測試則代表受測系統(tǒng)其虛擬化環(huán)境的效能與擴展性越強大。除了虛擬化系統(tǒng)運轉外，VMmark也將虛擬化架構下的復制、部署、動態(tài)遷移等常用的運作納入整體的性能評分。

一個Tile則擁有8個虛擬服務器包含著以下的服務內容：

• Database server

• Java server

• Mail server

• Web server

• File serve

VMmark的測試結果由「Application Score」與「Infrastructure Score」加權平均之后組成，可用來衡量各個獨立的虛擬服務器的效能。下列表格為取自VMMARK 官方網站（http://www.vmware.com/a/vmmark/）的標竿測試值范例：

1. 性能越好的系統(tǒng)可以支持的Tile 數(shù)量越多

2. 每個Tile 的分數(shù)包含著8種虛擬服務器服務項目的分數(shù)

Souce: http://www.vmware.com/a/vmmark/

 虛擬桌面架構Benchmark – Login VSI

大型企業(yè)的IT人員在管理大量的PC操作系統(tǒng)時常常需要服務到每一臺個人電腦的設定, 這造成IT人員疲于奔命于解決不同使用上的問題，透過虛擬桌面架構（Virtual Desktop Infrastructure，VDI）技術，IT部門整并使用者共同的桌面資源，讓用戶用相同一套操作系統(tǒng)與桌面軟件等，并能將數(shù)據(jù)集中存放于共享的儲存設備，搭配分層儲存與重復數(shù)據(jù)刪除等技術有效運用儲存空間，節(jié)約的個人系統(tǒng)的上硬件的重復投資，節(jié)省了個別系統(tǒng)的更新，更降低了儲存數(shù)據(jù)外泄的可能性。Login VSI是一個衡量虛擬桌面架構和服務器集中運算環(huán)境的整體性能表現(xiàn)測試軟件，多為業(yè)界測試虛擬桌面架構及服務器集中運算環(huán)境使用，支持以下多種虛擬桌面系統(tǒng)：

• Citrix XenApp

• XenDesktop

• VMware Horizon View

• Microsoft Remote Desktop Services

Login VSI測試特點如下：

• 標準化管理不同的虛擬桌面工具，藉此作出正確的決策

• 經由準確估算您的虛擬桌面架構來了解硬件數(shù)量的需求

• 利用壓力測試來深入了解環(huán)境的最大容量

• 在使用前先測試變化帶給虛擬桌面架構的影響

Login VSI藉由模擬多人同時登入使用VDI環(huán)境，驗證系統(tǒng)能夠提供最大有效用戶上線人數(shù)與不同使用者數(shù)量所測得的執(zhí)行反應時間（Response time, ms）。在虛擬桌面架構和服務器集中運算環(huán)境下，執(zhí)行反應時間是個關鍵的性能指針，以下圖的業(yè)者測試結果為例，我們可以發(fā)現(xiàn)在相同的硬件架構下，SAS硬盤最多僅能承受83個使用者，而采用SSD卻可以支撐超過160個使用者；同時，在相同的使用者數(shù)目下，采用SSD的反應時間均遠較采用SAS硬盤者快上許多。

除了以上三種企業(yè)應用情境的Benchmark，SNIA（Storage Networking Industry Association）協(xié)會所制定的企業(yè)級SSD效能測試規(guī)格（Solid State Storage Performance Test Specification Enterprise v1.1）所規(guī)范的測試要點，其中特別要求受測SSD應在Steady State進行測試，此項要求是考慮企業(yè)級SSD實際應用時，并非處于FOB（Fresh out of box）狀態(tài)，故SSD的實際效能量測應使其先經過一段時間讀寫之后所處的穩(wěn)定狀況為參考基準。由于各家SSD Flash參數(shù)與Controller設計考慮不一，Steady State階段所呈現(xiàn)的效能與FOB階段之間的差異可能相當大，測試驗證時必須特別注意。

Source: SNIA

結語

本文針對企業(yè)級SSD運用趨勢、質量驗證與效能評量做了一系列完整的介紹，除此之外，完整的企業(yè)級SSD產品驗證應納入不同設計/制造階段的考慮，包含從EVT（Engineering Verification Testing）、DVT（Design Verification Test）、RDT （Reliability Demonstration Test），以及進入量產階段時的ORT（Ongoing Reliability Test）。另外，希望本文所介紹的企業(yè)級SSD效能評量工具，能給予硬件廠商、軟件設計或IT管理人員方向，據(jù)以估計企業(yè)級SSD或整體架構的性能，判斷環(huán)境擴充的需求，以做出準確的決策。