[實驗] 10GbE 與RAID 大亂鬥,RAID 0 / RAID 5 / RAID 6 ...

文章推薦指數: 80 %
投票人數:10人

這系列文章主要是我對於SSD / HDD 硬碟x 數量x 陣列x 模式等幾個在NAS 環境中常見的變因做的小研究測試,目前有以下這幾個比較實驗,實驗都自己設計、 ... Skiptocontent RAID大概是NAS和DAS中最常見的硬碟陣列模式,以家用用途而言,4Bay4個硬碟槽也是最常使用的數量。

因此我便好奇幾種不同RAID格式之下,速度與10GbE應用上的表現 追蹤更多我的實驗>>> 這系列文章主要是我對於SSD/HDD硬碟x數量x陣列x模式等幾個在NAS環境中常見的變因做的小研究測試,目前有以下這幾個比較實驗,實驗都自己設計、測試了很久,也歡迎到粉專:https://www.facebook.com/garynil.tw/點讚支持追蹤看後續更多的奇怪實驗~ 硬碟越多,速度真的越快嗎? 10GbERAID大亂鬥,RAID0/RAID5/RAID6/RAID10常用的RAID速度差多少 RAID科普 開始測試之前,先了解RAID。

RAID有很多種,主要常見家用會用到的大概有RAID0/RAID1/RAID5/RAID6/RAID10這幾種,以下簡單介紹一下,想了解更清楚歡迎參考WiKi RAID0: 將資料拆開以序列式(Stripe)在兩顆硬碟中平均分布資料,無備份功能,壞一顆則壞全部。

最少需2顆硬碟,追求最大容量、速度 4個HDD之下陣列大小為4x單顆容量 RAID1: 鏡向式(Mirror)分布資料,追求安全性,最少需2顆硬碟,常見於2Bay的組合應用 4個HDD之下陣列大小為2x單顆容量 RAID5: 最小需求硬碟數為3顆,多增加1Bay空間大小為奇偶效驗訊息用,追求最大容量 4個HDD之下陣列大小為(N-1,4-1)x單顆容量 RAID6: 最小需求硬碟數為4顆,多增加2Bay空間大小為奇偶效驗訊息以增加安全性,因為最多可壞2Bay因此較RAID5更為安全 4個HDD之下陣列大小為(N-2,4-2)x單顆容量 RAID10 綜合RAID0,1優點,先照RAID0分成兩組,再分別在兩組內以RAID鏡向式分布資料 4個HDD之下陣列大小為(4-2)x單顆容量 對於容量計算上較不熟悉的使用者,很推薦使用「Synology官方提供的RAID容量計算器」來估算:https://www.synology.com/zh-tw/support/RAID_calculator 測試平台 實驗過程中,我以同樣設備、同樣實驗條件皆跑過3~5次取平均數據。

設備部分選擇10G網路搭配TB3避免造成傳輸瓶頸。

我們的測試項目有一般常見的1.Benchmark軟體、2.常見的拖拉複製動作,以及3.使用指令及專業工具複製這幾個項目 測試平台 MacBookPro201815″2019i9(macOS10.15.5) 透過Thunderbolt3轉AKiTiOT3-10G SynologyNASDS1819+搭配10G網卡E10M20-T1(使用8G記憶體)直連 WDREDPLUSWD140EFFX14Tx4 測試平台以常見的MacBookPro15″為主,NAS端則是選擇Synology家用8Bay機種DS1819+搭配10GbE網卡。

硬碟部分為了不產生bottleneck也模擬最快的硬碟可能性,這次選擇NAS專用硬碟:WDREDPLUS系列中最大容量WD140EFFX14TB大硬碟來測試。

▼WDREDPLUS14TWD140EFFX採用NASware3.0技術,轉速為5400RPMClass,最高速可達210MB/s。

Benchmark評測軟體與方式 評測方式我以BlackmagicDiskSpeedTest/AJASystemTest兩套跨平台速度評測軟體做測試,兩者皆在macOS10.15中掛載10GbpsSMB磁碟直接跑分。

Blackmagic以預設5GB大小測試。

AJATest設定以1G及64G10bitYUVUHD大檔分別做測試,並記錄三次讀寫底下最佳表現的數據 ▼實際檔案傳輸測試則是掛載10GbESMB資料夾並拖拉四個10GbE的藍光MKV檔(共計40GB)測試並記錄傳輸時間,同時也以iStatMenus圖表觀察傳輸的最大速度 在以下個測試結果中,我們就這幾個組合來探討: RAID0vsRAID5vsRAID6 RAID6vsRAID10 RAID5vsSynologySHR RAID5vsRAID6 RAID0vsRAID5vsRAID6 Benchmark總結果圖: 讀取表現 ▼RAID0/RAID5/RAID6的讀取在benchmark軟體上都差不多,主要是因為記憶體快取沒用盡的關係。

如果測試大檔(如AJA64G的測試)就可以看出實際的存取速度在組別間顯現出差異。

趨勢也由RAID0>RAID5>RAID6,主要是因為RAID0沒有安全機制並為序列寫入,因此效能表現最佳。

不過即使RAID5比不上RAID0,也還是有5Gbps的表現。

寫入表現 實際傳檔測試 ▼當然跑跑benchmark軟體沒辦法瞭解實際情境,我也在macOS中以複製貼上至SMB磁碟來模擬傳檔測試,測試的檔案為四個剪輯過加起來剛好40G大小的MKV藍光UHD影片檔,測試一次傳四個,以及一次一個兩種情境,並以iStatMenus波形圖紀錄最高速度。

RAID0vsRAID5vsRAID6的結果也如AJA64G測出來的趨勢相當,RAID0最快、RAID5次之(RAID0>RAID5>RAID6)。

RAID0在消耗完快取的表現也能達到870MB/s的最大速度表現,幾乎吃滿了10GbE的速度。

而4顆硬碟之下的RAID5表現大約約600MB/s,這點剛好可以以現今開始普及的高速網路(10GbE、5GbE、2.5GbE)來討論, RAID5600MB/s的表現換算4.8Gbps以現行5G網路來說很剛好,而即使是RAID6、SHR等其他格式,也大約有接近5Gbps的水準,所以如果有預算考量的人也可以選擇5Gbps的網卡選項。

RAID6vsRAID10 RAID6相對RAID10較為安全一些,主要因為RAID10原理是先鏡射再分割資料,但是由於是分成兩組硬碟,所以如果你死的硬碟都在同一組,那就救不回來了。

但相比之下RAID6是將額外的空間當作奇偶效驗信息,所以你可以隨意死兩顆硬碟。

▼特別是在AJA64G大檔上的讀取及寫入速度,RAID10比RAID6有寫入2倍、讀取3倍的速度提升,RAID10的優勢如此明顯也蠻意外的,甚至速度還比RAID5還優,在這三者的選擇上就看你要選安全還是速度了 容量上:RAID6與RAID10相等 速度上:RAID10大勝RAID6(甚至優於RAID5) 安全性上:RAID6比RAID10稍好 RAID5vsSynologySHR(1) SHR是Synology自家推出的自動化磁碟陣列(RAID)管理系統 有兩種模式,SHR與SHR2。

SHR主要容量計算方式與RAID5一樣為N-1,另外SHR的特色就是可以方便的擴容硬碟(參考:https://www.synology.com/zh-tw/knowledgebase/DSM/help/DSM/StorageManager/storage_pool_expand_add_disk),所以對於新手來說還是個相對友善許多的RAID格式 當然就會有許多人好奇既然SHR與RAID5容量定義上相仿,那SynologySHR和RAID5效能上誰勝誰負? ▼寫入速度的部分SHR比RAID5有著些許小優勢,不過其實差異算是不大 ▼讀取速度的表現在10GbE測試之下SHR可以跑滿接近950MB/s的表現,大檔(耗盡記憶體快取)的表現之下也有500MB/s以上的表現,個人是覺得以測試結果而言SHR比RAID5快了一些些,但表現上差距不大,選擇自己偏好的就可以了 容量上:SHR與RAID5相等 速度上:SHR小勝RAID5 安全性上:相等 彈性上:SHR可調整性>RAID5 RAID6vsSynologySHR-2 而SynologySHR-2與RAID6則是相仿,都是以額外兩顆硬碟作為奇偶效驗訊息,容量計算通常為N-2顆硬碟大小,相對SHR1、RAID5較為安全。

▼寫入速度的表現,兩者相當,SHR-2有比RAID6稍快一些但不明顯。

▼讀取速度則是兩者有明顯差異,RAID6比SHR-2快上兩倍,另外以CrystalDiskMark測試也是有同樣趨勢(QD32RAID6:1084MB/svsSHR-2814MB/s),SHR2在此種情境下會有讀取較慢的表現,不確定是不是官方這部分沒優化好。

▼實際傳輸大檔的表現在兩者之間的差異不明顯,差距都在10秒內,令人匪夷 容量上:SHR2與RAID6相等 速度上:依照不同情境有不同表現 安全性上:相等 彈性上:SHR2可調整性>RAID6 RAID5vsRAID6 RAID5與RAID6一直是4Bay以上使用者相互比較的一個熱門重點,兩者最主要差異就是速度與安全性上多拿幾Bay空間來當作奇偶效驗信息的差異(另外也加入了類似的SHR、SHR-2作為參考) ▼實際測試Blackmagic的短暫寫入/讀取結果RAID6竟然比RAID5表現稍好,可能檔案媒體向性不同的寫入模式之下還是有不同的表現。

但AJA64G測試的部分則是符合我們既定的印象:RAID5的寫入速度優於RAID6、讀取也是RAID5優於RAID6。

▼因此我們研究一下實際傳檔的寫入表現,如果我們實際傳一個40G的藍光大檔,就可以體現出RAID5速度上的優勢了。

RAID5在時間表現上僅需80多秒,但RAID6比之多花了約40%的時間,最大速度僅有460MB/s的表現。

RAID5則能表現到600MB/s。

▼讀取部分在短暫寫入測試表現中會因為NAS記憶體快取的影響,表現上都差不多接近10G的極限值。

但AJA64GB大檔測試則是能測出真實速度,RAID5也如我們傳檔表現一樣比RAID6多了40%左右的速度(最右圖:465MB/svs.320MB/s) 容量上:RAID5比RAID6多了1Bay的空間可使用 速度上:RAID5小勝RAID6 安全性上:RAID6容錯程度比RAID5多一槽機會 總而言之,這幾個比較組的研究著實有趣。

比較意外的是SHR-2和RAID6間的數據比較凌亂,看不出趨勢。

其他都有如之前的觀念區是相仿。

不過就結論老話一句,資料重要的話還是選RAID6為主,要以速度為主可以考慮RAID0或RAID5。

分享此文:按一下以分享至Facebook(在新視窗中開啟)分享到Pinterest(在新視窗中開啟)分享到Twitter(在新視窗中開啟)按一下以分享到Telegram(在新視窗中開啟)點這裡寄給朋友(在新視窗中開啟) Youmightalsolike 6Comments 非常感谢这么详尽的测试~ 回覆 感謝支持! 回覆 使用四顆硬盤比較對RAID6及SHR2不太公平,RAID6及SHR2最少六顆硬盤才能發揮其效益. 回覆 原來如此,那有空我再補上六硬盤的測試 回覆 感謝實驗文,很有參考價值。

最近購入RS1221+還在調校,我是使用原廠HAT53008T硬碟x4,RAID10的BlackMagic寫482.2MB/s,讀419.1MB/s,比您測到的(寫786MB/s,讀1054MB/s)低很多,在想是什麼原因。

我目前只有原廠的記憶體4G,但測試時負載只有20%,網路是原廠10GbE的網卡,沒有SSD快取。

也許您可以給些建議?謝謝! 回覆 謝謝這麼清楚的測試數據紀錄和結果,看了很懂~ 回覆 發表迴響取消回覆 這個網站採用Akismet服務減少垃圾留言。

進一步了解Akismet如何處理網站訪客的留言資料。

傳送到電子郵件地址 你的姓名 你的電子郵件地址 取消 文章未送出─請檢查你的電子郵件地址! 電子郵件地址檢查失敗,請再試一次 抱歉,你的網誌無法透過電子郵件分享



請為這篇文章評分?