最近公司想找一些軟體的 Fiber Channel Storage 的解決方案,上一次介紹了 Third I/O – Iris http://www.thirdio.com/,不過這一家軟體無法直接透過網站下載試用,所以這邊又找了另外一套,主要是參考 OSslab 介紹的http://www.osslab.org.tw/Storage/Enterprise/Blocklevel/SAN/Storage X86 Storage OS &Software ,這一次試用了 "Open-E"
- 官方網站:
http://www.open-e.com/ - Open-E Quick Start:
ftp://cloud.open-e.com/download/documents/Quick_Start_DSS_V6_Lite_EN.pdf - Open-E user Manual
ftp://cloud.open-e.com/download/documents/Manual_OE-DSS-V6_BAS_EN_1_00_r1.pdf - 下載點
http://www.open-e.com/products/open-e-dss-v6-lite/
使用 Open-E 我們需要一台 Server + 8Gb 的 Fiber Channel adpter (4G / 2G 的 Fiber Channel adapter 也支援) + 硬碟(試用的只支援到 2TB)
官方建議 Server 的硬體等級為::
- x86 – compatible PC
- 1 GByte RAM
- CPU (1 GHz or faster are recommended)
- HDD (SATA, SAS, SCSI, ATA) / iSCSI Storage
- Network Interface Card / Fiber Channel Card
目前 Open-E 支援的 Fiber Channel card 為 QLA23xx 和 QLA24xx ,不過我這次我也試用了 QLE 2526(8Gb Fiber Channel) 一樣 Open-E 也有支援.
"Open-E Data Storage Software V6 Lite (DSS V6 Lite)" 這免費版本同時支援了 Network Attached Storage (NAS) 以及 Storage Area Network (SAN) 的功能. 也應為是免費的所以在使用上限制只能使用到 2TB 的硬碟空間.如果是用合一可以購買正式的版本繼續使用.
下載與安裝
Open-E 的下載點 http://www.open-e.com/products/open-e-dss-v6-lite/ 我們需要一個 e-mail 帳號做登入,首先 Open-E 會寄一封認證信件給你,透過他就可以直接連接到 Open-E 下載點,Open-E 的軟體區分為 2 種,一是光碟版 ISO 二是 Zipped Image 檔案,
ISO Image is an All-in-One to perform the following functions:
- To be used for Software Updates
- To be used to burn a Bootable CD
- To be used for a Virtual Machine Installation
Zipped Image:
- To be used to prepare a bootable USB Flash Pen Drive
簡單的來說就是 ISO 檔適用於一般升級與一般安裝或是用於虛擬機器,而 Zipped Imag 可以直接使用於 USB Flash 上,不需要再經過安裝.ISO 直接燒成光碟透過光碟機就可以安裝系統,不管是光碟或是 USb Flash 開機後可以選擇的方式有 3 種,如果你不想安裝 (Run software installer) 建議使用 Zipped Image 這樣就可以直接選擇 32bit 或是 64bites system 而且資料還可以寫在 USB Flash 上面但是光碟版則不行.光碟版的資料與設定在關機後就會全部消失了!建議使用光碟版時直接選擇系統安裝在系統硬碟上(Run software installer).
- 32bit system (2.6.27)
- 64bit system (2.6.27)
- Run software installer
預設為 64 bit system,安裝方式類似 Linux 的安裝這邊就省略不介紹了.
不過這邊要說明的是 Zipped Imag 的使用方式.首先準備 USB flash drive 並將他格式化成為 FAT 或是 FAT32 之後將下載到的 dss6.0up50_b4786.oe_i.zip 解開後放到你的 USB flash drive ,除了 USB Flash drive 也可以是其他可讀寫的媒體裝置如 IDE, SATA or RAID disks 不過至少需要 2GB 的空間大小. 預設會包含下面檔案
- 目錄 bxxxx (xxxx 是 software build number)
- 目錄 boot
- 檔案 mmenu_upd.sh
這時的 USB Flash drive 還不具備開機的功能需要在 USB Flash drive 的 boot 目錄執行,這樣 MBR 就會被修改成可以開機模式.
- bootinst.exe (for Windows)
- bootinst.sh (for Linux)
WARNING! Master Boot Record (MBR) of the drive H: will be overwritten. Press any key to continue, or ctrl-c to abort Disk H: is bootable now. Installation succesfull. Press any key to continue…
設定 Fiber channel
不管是從 ISO 光碟開機或是由 USB Flash drive 開機,都會看到 Loading 以及 Welcome 畫面!!左邊是開機畫面,右邊則是 Open-E 已經準備就緒,瀏覽器可以從預設的 IP 登入到這一台 Open-E.
Open-E 預設的 IP 可能不符合我們的需求,但 Open-E 主要的設定方式是透過瀏覽器的方式,所以第一步我們需要設定重新設定 IP ,在 Open-E 的 Welcome 畫面 (Press F1 for help) 按下 F1 可以看到設定的功能鍵而設定 IP 的組合鍵為 Left Ctrl + Left Alt + N ,IP 可以使用固定 IP 或是由 DHCP 來指定皆可.
透過瀏覽器連接到 Open-E 預設密碼為 "admin" 會先詢問你幾個問題並且會重新設定密碼.之後就可以開始設定 Fiber Channel Target.
第一步我們需要將 Fiber channel 模式更改成 Target 模式,在 SETUP / Fibre Channe 可以看到預設模式為 I (Initiator mode),需要將 Fiber Channel 模式改成 T(Target mode).
要注意的一點是我們這邊所使用的是 Qlogic HBA 而目前 Open-E 官方所支援的 Fiber Channel Target mode Card 需為 QLA23xx 和 QLA24xx.
新增 volume
Open-E 新增 volume 的步驟其實跟 LVM 類似須要先新增 VG -> LV
Volume Group (VG)
在 CONFIGURATION / volume manager / Vol. group 來設定 VG(Vol. groups) 這 VG 是由實體磁碟所切割出來的邏輯硬碟,在 Unit manager / Action 選擇 new volume group .之後就可以在左方的 Vol. groups 看到新增的 VG.
當系統有多顆硬碟時可以透過 Drive identifier 可用來辨識硬碟.點選後按 "apply" 該顆硬碟燈號會閃爍不停.
Logical Volume (LV)
在左方點選剛剛建立的 Vol. groups / vg00 並設定 LV.這 LV 將來將指定給 Fiber Channel Initiator 使用,使用時就如同一般磁區一樣. 在 Volume manager / Action 選擇 new FC volume 並指定大小.其他還提供了 NAS 和 iSCSI 等裝置的硬碟.
Volume 設定工作就算是完成了.
FC Target
第一步是設定 WWN Aliases 接下來第二步是設定 FC 的 WWN 與 Volume(LV) 的對應關係,點選 CONFIGURATION / FC target manager / Groups 與 WWN Aliases
在 Linux 作業環境下可以透過下面的檔案查詢得知 WWPN 以及 WWNN
- WWPN
/sys/class/fc_host/host#/port_name - WWNN
/sys/class/fc_host/host#/node_name
WWN Aliases:
第一步是將位 Initiator 的 WWN 設定別名, 在 Create new WWN HBA alias 輸入 Alias: 和 WWN: 按下 "apply" 之後會在左下方的 WWN Aliases 將會出現剛剛輸入的 Alias ,之後在做指派時會以 Alias 為主.
Groups:
最後就是要設定 FC 和 Volume 對應的關係,先建立一個 Group 名稱,在 Create new group 依據你的喜好設定一組名稱.並按 "apply",在左方就會出現剛剛設定的 Group 名稱.
這邊可以看到剛剛設定的 Volumes(LV) 以及 WWN Alias access.選擇你要指派的硬碟(使用 Add group volumes 的 Action 的 + 與 – ),在 WWN Alias access 中找到剛剛設定好的 Alias name,將他狀態由 available 轉換成 assigned 這樣設定就大功告成了.
回到 Initiator 端,重新掃描硬碟將會多出剛剛所指配的硬碟裝置.
其他與 Fiber channel Target based 相關的套件與作業系統.
- scst
https://benjr.tw/26135 - Third I/O(Iris)
https://benjr.tw/28017 - comstar
http://hub.opensolaris.org/bin/view/Project+comstar/ - openfiler
http://www.openfiler.com - SANBlaze
http://www.sanblaze.com/
除了 scst 可以安裝在 linux 系統上, Third I/O – Iris , OpenSolaris – comstar , openfiler , open-e 都是原生 bare metal os 安裝.
Open-E: Data Storage Software for NAS, iSCSI, SAN, FC
目前的版本為 V7 可以支援 NAS ,SAN(iscsi,FC),試用版有60天的期限可以使用.
Open-E DSS V7
沒試用過,
之前格主有提過SCST….不知這次是否會試試看?
有機會會找時間試試看.
SCST 限制多.你要測最高速 還有個勉強方法 ,windows 下開dram disk ,在以ram disk 開lun 給其他client mount 掛..
我收到infiniband 20G 還沒空玩..其實lab 所有鬼設備都有.. 開給你測也ok 只是整理有夠花時間的
目前遇到一個問題 8G Fiber Channel HBA 的傳輸理想值為 單向 800MB 雙向 1.6GB 所以我需要一台有 PCI-E Gen1 x4 的插槽 算法如下
PCI-E 使用兩對低電壓的差位訊號排線(low-voltage differential signaling pairs),分別各跑2.5GBit/s速度,以 x1 的速度而言有兩對 2.5 G x 2 = 5Gbps 的頻寬. 而 x4 2.5Gx4=10Gbps (20% overhead – PCI-e 在每八個位元的資料串上用十位元來加以編碼) = 8Gbps (單向 1GB/sec 雙向 2GB/sec)
這個相當簡單,難的是我要找到硬碟可以讓效能達到 1.6GB ,這樣是需要多少顆硬碟呢!!!單顆 10000rpm 萬轉硬碟平均可以達到 100MB ,所以需要大概 16 顆萬轉硬碟,恩這頭就痛了!!
還是要改使用 scst 再將記憶體模擬成硬碟.
可參考SANBlaze解決方案,可符合您的需求