2,247 瀏覽數

SAS JBOD 效能

目前手邊有一台 PCI-E Gen 2 的 Server + 6G SAS HBA – LSI 9200-8e + NetApp IOM3 / IOM6 的 JBOD,來試試看 SAS JBOD 的速度距離理想值 6*4=24Gb 會有多大的差距.

不過要注意的瓶頸會有 PCI-E , SAS , JBOD 我們先來一一確定,目前看到 PCI-E Gen2 的速度是沒有問題的.

root@benjr:~# lspci |grep -i lsi
03:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
root@benjr:~# lspci -n |grep -i 03:00.0
03:00.0 0107: 1000:0072 (rev 03)
root@benjr:~# lspci -n -d 1000:0072 -vvv |grep -i width
pcilib: sysfs_read_vpd: read failed: Connection timed out
                LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s, Exit Latency L0s <64ns, L1 <1us
                LnkSta: Speed 5GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

資料顯示 5GT/s, Width x8 算出來約 5Gbpsx8 = 40Gbps (20% overhead-PCIe並且在每八個位元的資料串上用十位元來加以編碼)= 32Gbps (4 GB/sec)

SAS 效能請參考 http://benjr.tw/67963
PCI-E 請參考 http://benjr.tw/10842

NetApp IOM3 / IOM6 的 JBOD
理想值是
3Gb SAS 1.0 提供約 ~12Gb (3Gb x4 wide port)
6Gb SAS 2.0 提供約 ~24Gb (6Gb x4 wide port)

連接方式也很簡單 使用 minisas -> QSFP 將 LSI 9200-8e 與 NetApp IOM3 / IOM6 JBOD (方型標誌的連接埠)相連接.
sas03

NetApp IOM 3 /6 連線圖參考:
http://www.cosonok.com/2013/03/how-to-hot-add-ds4243-shelf-quick-guide.html

http://www.sysadmintutorials.com/tutorials/netapp/netapp-disk-shelf-cabling-examples/

這次我使用了 Fio 當做硬碟效能的測試工具.

root@benjr:~# vi fio.cfg

[global]
direct=1
iodepth=16
ioengine=libaio
numjobs=16
blocksize=512k
time_based
rw=read
rwmixread=100
runtime=60s
group_reporting
[dev-sdb]
filename=/dev/sdb
[dev-sdc]
filename=/dev/sdc
[dev-sdd]
filename=/dev/sdd
[dev-sde]
filename=/dev/sde
[dev-sdf]
filename=/dev/sdf
[dev-sdg]
filename=/dev/sdg
[dev-sdh]
filename=/dev/sdh
[dev-sdi]
filename=/dev/sdi
[dev-sdj]
filename=/dev/sdj
[dev-sdk]
filename=/dev/sdk
[dev-sdl]
filename=/dev/sdl
[dev-sdm]
filename=/dev/sdm
[dev-sdn]
filename=/dev/sdn
[dev-sdo]
filename=/dev/sdo

我系統一共有 14 顆硬碟.下面是測試結果

IOM3

root@benjr:~# fio fio.cfg

Run status group 0 (all jobs):
   READ: io=62987MB, aggrb=1036.4MB/s, minb=1036.4MB/s, maxb=1036.4MB/s, mint=60776msec, maxt=60776msec

IOM6

root@benjr:~# fio fio.cfg

Run status group 0 (all jobs):
   READ: io=93198MB, aggrb=1548.3MB/s, minb=72689KB/s, maxb=160388KB/s, mint=60110msec, maxt=60195msec

怪了 IOM3 在合理值內(理想值是 3G*4 =12Gb=1.2GB ,實測為 1.0364GB),但 IOM6 的值偏低怎麼調整都不對 (理想值是 6G*4 =24Gb=2.4GB ,實測為 1.5483 GB)

最後去查 Molex’s iPass™ Connector System
Offering a full interconnect system that enables flexible speed compatibility for applications up to 14 Gbps.

好像問題是出在 Mini-SAS -> QSFP (iPass) Cable 的支援問題上,似乎這一條線只支援到 14G(1.4GB)

儲存裝置的效能測試 除了 PCI-E , SAS , JBOD 外 連使用的 cable 線材都需要注意.

發表迴響