企業(yè)級儲存裝置正逐漸改變

2014年的今天，輕薄短小信息產(chǎn)品引領(lǐng)全球消費者往下一個世代邁進。從智能手機、平板到穿戴式裝置，不僅改變個人的行為模式，也讓許多企業(yè)發(fā)展出新的營運模式。因應(yīng)新科技帶來的便利，實時的數(shù)據(jù)存取，分享與傳輸亦越來越重要。對許多企業(yè)來說，大量的數(shù)據(jù)存取幾乎是時時刻刻都需要的。在眾多消費產(chǎn)品與服務(wù)需求的背后，云端服務(wù)器與更進階的儲存設(shè)備則是不可或缺的功臣。

一般而言，企業(yè)級（Enterprise）信息應(yīng)用可概分為企業(yè)內(nèi)信息系統(tǒng)與云端網(wǎng)絡(luò)服務(wù)，前者可能建置、運轉(zhuǎn)于公司內(nèi)部或放置于數(shù)據(jù)中心委外管理，使用者為公司內(nèi)部或特定客戶；后者則是建置、運轉(zhuǎn)于數(shù)據(jù)中心，針對不特定大眾提供信息服務(wù)；兩者雖然在規(guī)模與用戶對象有所差異，但是對于營運品質(zhì)與服務(wù)水平（SLA）都遠比一般家庭及個人信息系統(tǒng)的要求更高，例如要求24×7不中斷的高可靠度（Reliability）、高可用性（Availability），以及滿足快速、大量存取的高效能（Performance）與高穩(wěn)定性（Stability），除此之外，更希望達到最低的建置與營運成本（Total Cost of Ownership，TCO）。

企業(yè)級信息系統(tǒng)除了軟件與機房內(nèi)的電力、空調(diào)與網(wǎng)絡(luò)等基礎(chǔ)設(shè)施外，最重要的就是服務(wù)器本身。企業(yè)用服務(wù)器內(nèi)的組成可概分為三大主要部分：運算、儲存與網(wǎng)絡(luò)。由于服務(wù)器本身目前技術(shù)架構(gòu)限制，指令周期（CPU, RAM）仍普遍遠快于儲存速度，因此各種研究、應(yīng)用不斷投入在儲存裝置上，以期提升企業(yè)用服務(wù)器的整體效能。其中「固態(tài)硬盤」由于其本質(zhì)上為電子訊號讀寫以及多信道存取特性，無傳統(tǒng)硬盤（HDD）的機械讀取限制，使其讀寫速度較HDD快并在耗電性表現(xiàn)上更佳，然而過去由于NAND Flash每GB單位價格較高，且存在可靠性與使用壽命疑慮，并未大量應(yīng)用在企業(yè)級系統(tǒng)上，近來隨NAND Flash制程技術(shù)不斷提升（1xnm, 3D NAND Flash）而使成本不斷下降，以及藉由各項控制器、韌體技術(shù)改進可靠性及使用壽命后，各種企業(yè)級SSD的發(fā)表與彈性應(yīng)用使得這項產(chǎn)品展現(xiàn)出不一樣的契機。以消費級SSD而言，目前售價約是八年前的三十分之一，從2006年SSD初發(fā)表時的售價是$45/GB驟降至2014年的零售價$0.8 /GB；企業(yè)級SSD的每GB價格則是由2007年的$8.32/GB下降到2013年的$0.63/GB，并可能持續(xù)下降至$0.52/GB（DRAMeXchange, May 2013）；此外，如下圖所示，Gartner更預(yù)測企業(yè)級SSD（服務(wù)器用以及儲存用）每GB單位價格于2017年時將會下降至2012年的12~14%。

 

圖 1, Source: Gartner 2013 Forecast, SMART Storage Systems, Flash Memory Summit 2013

由于價格下降與技術(shù)創(chuàng)新，我們可以預(yù)期各種企業(yè)級SSD應(yīng)用將大幅成長；根據(jù)HGST于2013年發(fā)表的數(shù)據(jù)統(tǒng)計顯示（下圖），目前歐美已經(jīng)有將近16%企業(yè)開始使用SSD當(dāng)作儲存媒介，其他尚在觀望的公司也開始思考采用SSD的可行性，更有公司預(yù)定將其1/3的儲存設(shè)備替換成SSD裝置，同時各家的服務(wù)器廠商也都紛紛推出內(nèi)含SSD裝置的產(chǎn)品，因此我們可以預(yù)估企業(yè)級SSD產(chǎn)品的產(chǎn)能將會逐漸開始顯著上升。

 

圖 2, Source: HGST, Flash Memory Summit 2013

由IT Brand Pulse所進行的調(diào)查結(jié)果亦顯示，多數(shù)企業(yè)認(rèn)為SSD是過去兩年內(nèi)IT技術(shù)上最關(guān)鍵及顯著的改變。

 

圖 3, Source: IT Brand Pulse, Flash Memory Summit 2013

一般的企業(yè)服務(wù)器或是云端數(shù)據(jù)儲存架構(gòu)有三大類型：

1. DAS （Direct Attach Storage）

直接將儲存設(shè)備堆棧連接至各類企業(yè)級服務(wù)器上作為數(shù)據(jù)存取的空間。設(shè)備建構(gòu)費用為三大類型中最便宜也最容易完成。

2. NAS （Network Attached Storage）

將儲存系統(tǒng)透文件服務(wù)器直接連接到局域網(wǎng)絡(luò)上，文件服務(wù)器是專為數(shù)據(jù)存取而設(shè)計，速度與效能上較DAS佳。這類型設(shè)備建構(gòu)的費用與技術(shù)上雖較DAS高，但能有效的滿足需要存取與共享大量文件數(shù)據(jù)系統(tǒng)的企業(yè)環(huán)境，比較受一般中大型企業(yè)采用。

3. SAN （Storage Area Network）

則是將儲存裝置從局域網(wǎng)絡(luò)獨立出來，成為另一個網(wǎng)絡(luò)，透過專屬的高速網(wǎng)絡(luò)或是光纖的鏈接來達到服務(wù)器與儲存設(shè)備間多對多的高速串連，整體擴充性佳，可以在不增加服務(wù)器與區(qū)網(wǎng)負(fù)擔(dān)的狀況下擴充。也因SAN具備高效率的傳輸速度，特別適合存放運算工作量大的數(shù)據(jù)，但最大的挑戰(zhàn)則是建構(gòu)費用高且費時。

在這些企業(yè)級SSD應(yīng)用當(dāng)中，一般來說有以下幾種使用情境方式：

• 以SSD直接取代HDD作為Production Disk：以查詢、讀取為主要的信息系統(tǒng)，例如Web server，對于效能要求高且較無數(shù)據(jù)備份疑慮。直接以SSD取代HDD，且無須采用到最高等級的SLC Flash，并可以在合理的成本范圍內(nèi)獲得相當(dāng)高的效能投資報酬率。

 

• 以SSD取代RAM Disk作為Tier 0 Storage：針對寫入動作多、Disk I/O頻繁的系統(tǒng)，例如：金融、在線交易或影音編輯。傳統(tǒng)HDD在無法負(fù)荷的狀況，一般可以升級更快速的磁盤陣列（整體擁有成本TCO卻更高），將數(shù)據(jù)分散在多個磁盤來加速，但同時會增加數(shù)據(jù)丟失風(fēng)險，或是考慮采用SSD作為Tier 0 Storage。雖然RAM Disk可以獲得比SSD更高的效能，但是相同容量的SSD卻能擁有更佳的成本效益（約為5倍）。一個典型包含多個Tier的儲存媒體系統(tǒng)設(shè)計如下表以及下圖所示，能以數(shù)據(jù)對效能、存取頻繁度等來規(guī)劃各種媒介的使用：

 

 

圖 4, Source: DELL Storage, Flash Memory Summit 2013

企業(yè)級SSD的質(zhì)量要求

企業(yè)級SSD對于各項規(guī)格與質(zhì)量，與一般消費型SSD不同且要求更高，兩者差異主要表現(xiàn)在以下幾點上：

• 企業(yè)級SSD使用PCIe/SAS/NVMe接口，消費級SSD使用SATA接口
• 企業(yè)級SSD使用SLC/eMLC Flash，消費級SSD使用MLC/TLC Flash
• 消費級SSD選擇順序：價格/容量/效能/數(shù)據(jù)可靠性（Data Integrity）
• 企業(yè)級SSD選擇順序：數(shù)據(jù)可靠性/效能/容量/價格

而企業(yè)級信息系統(tǒng)對于儲存媒體Storage較消費級則有更為嚴(yán)謹(jǐn)?shù)囊螅?/span>

• 企業(yè)應(yīng)用要求高數(shù)據(jù)可用性（Data Redundancy）
• 企業(yè)應(yīng)用要求穩(wěn)定的效能（Stable Performance）
• 企業(yè)應(yīng)用要求高可靠性（Greater Endurance）
• 企業(yè)應(yīng)用要求額外的容量余裕（Additional Raw Capacity）
• 企業(yè)應(yīng)用要求節(jié)省空間、能源、維護成本（Cost Saving on Space, Energy & Maintenance）
• 企業(yè)應(yīng)用要求客制以符合特定需求（Custom applications for specific needs）

在進一步了解企業(yè)級SSD質(zhì)量驗證之前，藉由說明企業(yè)級以及消費級的SSD產(chǎn)品其所采用的NAND Flash 差異性，我們更能夠清楚的認(rèn)識其根本的差別：

 

由上表可以明顯看出，由于抹寫次數(shù)（P/E Cycle）是影響Flash壽命（Endurance）的最關(guān)鍵因素，企業(yè)級SSD往往需要兩到三倍以上的抹寫次數(shù)，因此對于增進產(chǎn)品可靠性而言相當(dāng)重要。下圖亦顯示出P/E Cycle與Endurance明顯的正比關(guān)系，隨著Flash制程尺寸縮小，雖然相同面積內(nèi)可產(chǎn)出更多Flash而使成本降低，但是因為浮閘內(nèi)存（Floating-gate Non- Volatile Semiconductor Memory）的物理限制也導(dǎo)致P/E Cycle隨之下降。

 

圖 5, Source: OCZ Technology, Flash Memory Summit 2013

此外，由于Flash抹除后再寫入（Re-write before Erase）的特性，導(dǎo)致Write Amplification（實際寫入量大于邏輯寫入量）的現(xiàn)象使得Endurance壽命加速減少，因此各項技術(shù)如Trim、Garbage Collection、Caching、Compression、Over-provisioning、Wear Leveling等，也被開發(fā)出來用于降低其負(fù)面影響，但由于各家Flash質(zhì)量與controller、firmware的配合度與設(shè)計質(zhì)量差異，常見且可預(yù)期的問題如Data Integrity、Performance Stability、Performance Degradation、Endurance等，仍將是影響SSD質(zhì)量的主要關(guān)鍵。

 

企業(yè)級儲存設(shè)備效能的評量與驗證

在驗證SSD效能方面，考慮因素除了數(shù)據(jù)吞吐量（Throughput），讀寫效能（IOPS, I/O Per Second）也是考慮的關(guān)鍵之一。坊間有多樣評測軟件可以測得SSD產(chǎn)品的讀寫效能，但是不同軟件有各自的專長領(lǐng)域，要如何正確使用評測軟件來評量SSD的效能就有賴豐富的經(jīng)驗了。百佳泰投入SSD產(chǎn)品測試研究領(lǐng)域多年，針對各類產(chǎn)品特性與測試開發(fā)多有心得，讓我們先用大家熟知的測試工具IO Meter來對七個不同型號SSD做讀寫效能的分析。我們選取Samsung（四個不同型號）與Intel（三個不同型號）銷售的SATA 6G SSD來當(dāng)作標(biāo)的物，比較特別的是，Samsung的SSD是歸類為Consumer等級產(chǎn)品而Intel的SSD則是歸類為Enterprise等級產(chǎn)品。

當(dāng)我們完成第一次測試之后，我們得到以下結(jié)果：Samsung SSD在小檔案的讀寫效能上（512Byter ~32K byte）領(lǐng)先Intel Enterprise SSD，大獲全勝。這樣的結(jié)果應(yīng)該會讓不少人心中吶悶，何以消費型的產(chǎn)品效能領(lǐng)先企業(yè)級的產(chǎn)品呢？

 

先別急著下判斷，讓我們再用另外一個腳本來驗證一下這幾款SSD的IOPS讀寫效能：長時間24小時的多種檔案讀寫。

在24小時的效能評測之后，我們可以觀察到INTEL Enterprise 等級SSD的讀寫效能（IOPS）卻有5-9倍優(yōu)于Samsung Consumer等級SSD的讀寫效能（IOPS）。這樣的結(jié)果是有其道理的，企業(yè)級的產(chǎn)品，強調(diào)的重點是在長效性能的維持，而短時間的評比觀察則不太容易看出這個結(jié)果。這個結(jié)果也呼應(yīng)了前面我們提到要用正確的方式來評測SSD的效能的重要性。

 

因為整個企業(yè)儲存設(shè)備的使用狀況與環(huán)節(jié)多元且復(fù)雜度高，即便選用了高穩(wěn)定高效能的SSD產(chǎn)品于儲存設(shè)備中，仍無法保證會有高效能及高穩(wěn)定度。需要有更深度的情境模擬測試，才能得知產(chǎn)品在整體使用上可能達到的效能。

 

根據(jù)IT Brand Pulse的調(diào)查（上圖），企業(yè)一般認(rèn)為「虛擬化應(yīng)用」與「數(shù)據(jù)庫」是推動SSD應(yīng)用的主要服務(wù)，因此針對企業(yè)常用的服務(wù)，根據(jù)各個不同的環(huán)境規(guī)模，我們建議采用三種主要的效能評量與驗證，并針對各項說明如下：

• 數(shù)據(jù)庫Benchmark – SysBench MySQL
• 虛擬化架構(gòu)Benchmark – VMmark
• 虛擬桌面架構(gòu)Benchmark – Login VSI

? MySQL數(shù)據(jù)庫 – SysBench Benchmark

MySQL作為企業(yè)使用的數(shù)據(jù)庫系統(tǒng)已經(jīng)有多年歷史，最大的優(yōu)點就是效能高、成本低且可靠度高。此產(chǎn)品近幾年并由數(shù)據(jù)庫大廠Oracle收購成為其旗下之一產(chǎn)品，目前Oracle官方推薦的MySQL驗證軟件即為SysBench，SysBench的幾個特色如下，對企業(yè)用戶來說，OLTP Benchmark這個驗證項目相對重要：

• File I/O performance
• Scheduler performance
• Memory allocation and transfer speed
• POSIX threads implementation performance
• Database server performance (OLTP benchmark)

SysBench是以O(shè)LTP基準(zhǔn)檢驗來衡量儲存裝置在MySQL數(shù)據(jù)庫上運作的效能。我們以此項效能驗證軟件仿真200個用戶的中型企業(yè)數(shù)據(jù)庫環(huán)境，測試設(shè)定使用100個table同時運算，每個table有一千萬筆數(shù)據(jù)（總數(shù)十億筆數(shù)據(jù)，數(shù)據(jù)量約264GB）。如下表所示，我們挑選市面上3個企業(yè)級PCIe SSD為受測儲存裝置，并考慮儲存裝置在不同的Buffer Pool Size設(shè)定和多個Thread設(shè)定下的性能表現(xiàn)。

 

下圖為PCIe SSD在不同Thread設(shè)定下的效能表現(xiàn)（平均反應(yīng)時間）。以50ms為較合理的反應(yīng)時間為考慮，三個受測儲存裝置的最好表現(xiàn)都落在Thread數(shù)為16到32之間。當(dāng)Thread數(shù)設(shè)定在64時，三個受測SSD的反應(yīng)時間都超過50ms，表示在此狀況下，已經(jīng)超過三款SSD的理想值；而當(dāng)Thread數(shù)設(shè)定在128到256時，則三個受測SSD的平均反應(yīng)時間都明顯拉高。

 

從數(shù)據(jù)吞吐量（Throughput）來看，我們將BufferPool Size分別設(shè)定為10GB、20GB與30GB，并配合不同的Thread數(shù)量進行壓力測試。發(fā)現(xiàn)以30GB Buffer Pool Size和64 Thread的設(shè)定是三個SSD最優(yōu)異的Throughput表現(xiàn)。而由下圖結(jié)果可以明顯看出三個SSD效能在此設(shè)定下的高低差異以及效能穩(wěn)定性分布狀況。

 

虛擬化架構(gòu)Benchmark – VMmark

傳統(tǒng)的服務(wù)器架構(gòu)讓服務(wù)器一次只能運作一種操作系統(tǒng)，且多數(shù)服務(wù)器的運作效益發(fā)揮不到20%，VMWARE系統(tǒng)將操作系統(tǒng)和應(yīng)用程序從實體硬件中抽離，靈活且簡化服務(wù)器環(huán)境，解決傳統(tǒng)服務(wù)器傳統(tǒng)一對一架構(gòu)的問題，讓服務(wù)器的資源達到最有效的運用。VMWARE官方推薦的 Server Virtualization 驗證軟件VMmark，其架構(gòu)上是由多個服務(wù)器的數(shù)據(jù)中心組成的虛擬環(huán)境，以產(chǎn)生企業(yè)用戶數(shù)據(jù)中心的實際工作量，用以衡量整個虛擬化環(huán)境的整體效能，非常適合用來對VM架構(gòu)做驗證。

VMmark使用多個Tile架構(gòu)（如下圖共有9個Tile，一個Tile則擁有8個虛擬服務(wù)器），而可承受越多個Tile執(zhí)行測試則代表受測系統(tǒng)其虛擬化環(huán)境的效能與擴展性越強大。除了虛擬化系統(tǒng)運轉(zhuǎn)外，VMmark也將虛擬化架構(gòu)下的復(fù)制、部署、動態(tài)遷移等常用的運作納入整體的性能評分。

 

一個Tile則擁有8個虛擬服務(wù)器包含著以下的服務(wù)內(nèi)容：

• Database server

• Java server

• Mail server

• Web server

• File serve

 

VMmark的測試結(jié)果由「Application Score」與「Infrastructure Score」加權(quán)平均之后組成，可用來衡量各個獨立的虛擬服務(wù)器的效能。下列表格為取自VMMARK 官方網(wǎng)站（http://www.vmware.com/a/vmmark/）的標(biāo)竿測試值范例：

1. 性能越好的系統(tǒng)可以支持的Tile 數(shù)量越多

2. 每個Tile 的分?jǐn)?shù)包含著8種虛擬服務(wù)器服務(wù)項目的分?jǐn)?shù)

 

Souce: http://www.vmware.com/a/vmmark/

 虛擬桌面架構(gòu)Benchmark – Login VSI

大型企業(yè)的IT人員在管理大量的PC操作系統(tǒng)時常常需要服務(wù)到每一臺個人電腦的設(shè)定, 這造成IT人員疲于奔命于解決不同使用上的問題，透過虛擬桌面架構(gòu)（Virtual Desktop Infrastructure，VDI）技術(shù)，IT部門整并使用者共同的桌面資源，讓用戶用相同一套操作系統(tǒng)與桌面軟件等，并能將數(shù)據(jù)集中存放于共享的儲存設(shè)備，搭配分層儲存與重復(fù)數(shù)據(jù)刪除等技術(shù)有效運用儲存空間，節(jié)約的個人系統(tǒng)的上硬件的重復(fù)投資，節(jié)省了個別系統(tǒng)的更新，更降低了儲存數(shù)據(jù)外泄的可能性。Login VSI是一個衡量虛擬桌面架構(gòu)和服務(wù)器集中運算環(huán)境的整體性能表現(xiàn)測試軟件，多為業(yè)界測試虛擬桌面架構(gòu)及服務(wù)器集中運算環(huán)境使用，支持以下多種虛擬桌面系統(tǒng)：

• Citrix XenApp

• XenDesktop

• VMware Horizon View

• Microsoft Remote Desktop Services

 

Login VSI測試特點如下：

• 標(biāo)準(zhǔn)化管理不同的虛擬桌面工具，藉此作出正確的決策

• 經(jīng)由準(zhǔn)確估算您的虛擬桌面架構(gòu)來了解硬件數(shù)量的需求

• 利用壓力測試來深入了解環(huán)境的最大容量

• 在使用前先測試變化帶給虛擬桌面架構(gòu)的影響

Login VSI藉由模擬多人同時登入使用VDI環(huán)境，驗證系統(tǒng)能夠提供最大有效用戶上線人數(shù)與不同使用者數(shù)量所測得的執(zhí)行反應(yīng)時間（Response time, ms）。在虛擬桌面架構(gòu)和服務(wù)器集中運算環(huán)境下，執(zhí)行反應(yīng)時間是個關(guān)鍵的性能指針，以下圖的業(yè)者測試結(jié)果為例，我們可以發(fā)現(xiàn)在相同的硬件架構(gòu)下，SAS硬盤最多僅能承受83個使用者，而采用SSD卻可以支撐超過160個使用者；同時，在相同的使用者數(shù)目下，采用SSD的反應(yīng)時間均遠較采用SAS硬盤者快上許多。

 

除了以上三種企業(yè)應(yīng)用情境的Benchmark，SNIA（Storage Networking Industry Association）協(xié)會所制定的企業(yè)級SSD效能測試規(guī)格（Solid State Storage Performance Test Specification Enterprise v1.1）所規(guī)范的測試要點，其中特別要求受測SSD應(yīng)在Steady State進行測試，此項要求是考慮企業(yè)級SSD實際應(yīng)用時，并非處于FOB（Fresh out of box）狀態(tài)，故SSD的實際效能量測應(yīng)使其先經(jīng)過一段時間讀寫之后所處的穩(wěn)定狀況為參考基準(zhǔn)。由于各家SSD Flash參數(shù)與Controller設(shè)計考慮不一，Steady State階段所呈現(xiàn)的效能與FOB階段之間的差異可能相當(dāng)大，測試驗證時必須特別注意。

 

Source: SNIA

結(jié)語

本文針對企業(yè)級SSD運用趨勢、質(zhì)量驗證與效能評量做了一系列完整的介紹，除此之外，完整的企業(yè)級SSD產(chǎn)品驗證應(yīng)納入不同設(shè)計/制造階段的考慮，包含從EVT（Engineering Verification Testing）、DVT（Design Verification Test）、RDT （Reliability Demonstration Test），以及進入量產(chǎn)階段時的ORT（Ongoing Reliability Test）。另外，希望本文所介紹的企業(yè)級SSD效能評量工具，能給予硬件廠商、軟件設(shè)計或IT管理人員方向，據(jù)以估計企業(yè)級SSD或整體架構(gòu)的性能，判斷環(huán)境擴充的需求，以做出準(zhǔn)確的決策。