公司最近新添購了一台 Cisco Nexus 5000 系列的 10Gb switch.但是我自從 5 年前考完 CCNA 就再也和 Cisco Switch / Router 無緣了!!想想機會難得可以玩一玩順便跟同事介紹一下 Cisco Nexus 5000 系列特別之處.看了一下說明書這一台 Cisco Nexus 5000 系列同時具有下面的新技術.

• High-performance 10 Gigabit Ethernet
  當然了他是一台 10G 的 switch ,但是有什麼特異功能之處呢!!
• Data Center Ethernet (I/O Consolidation)
  他同時是網路 switch 同時也是一台 Fiber SAN 的 switch.
• Fibre Channel over Ethernet(FCoE)
  Fiber Channel 的資料可以透過 Ethernet 的封包來傳送.
• Virtual-machine-optimized networking
  主要功能是可以讓多台 VMware 的 virtual switch 可以透過虛擬的網路裝置整合為單一的虛擬交換器(Virtual Switch).

High-performance 10 Gigabit Ethernet

目前 Cisco Nexus 5000 系列主要有兩個產品 1-RU Nexus 5010 和 2-RU Nexus 5020 ,Nexus 5020 幾乎是 Nexus 5010 的一倍大小.可以使用的埠也是2倍之多,Nexus 5020 預設的埠高達 40 個, Expansion Module 有 2 個,其支援的 Expansion Module 有三種.

• An Ethernet module that provides 6 ports of 10 Gigabit Ethernet.
• A Fibre Channel plus Ethernet module that provides 4 ports of 10 Gigabit Ethernet, and 4 ports of 1/2/4 Gbps native Fibre Channel.
• A Fibre Channel module that provides 8 ports of 1/2/4 Gbps native Fibre Channel.

後面 2 種有支援 Native Fiber Channel 最主要就是為了支援 1/2/4 Gbps native Fibre Channel 的 SAN 裝置.傳統的 SAN Fibre 的裝置都可以直接接在這 Expansion Module.

Data Center Ethernet (I/O Consolidation)

但是一開始就遇到難題了!就是如何將舊有的 Fiber Channel Storage(SAN) 整合到這一台.在官方說明文件的確有提到 "Cisco Nexus 5000 " 系列支援 FCoE 和 Fibre Channel Switching 的功能.

FCoE and Fibre Channel Switching
Cisco Nexus 5000 Series switches support data center I/O consolidation (IOC) by providing FCoE
interfaces (to the servers) and native Fibre Channel interfaces (to the SAN).

上面提到 "Cisco Nexus 5000" 系列的確是支援 FCoE 和 Fibre Channel Switching 不過請看接下來的這一句話!!

Physical Fibre Channel Interfaces
Cisco Nexus 5000 Series switches provide up to eight physical Fibre Channel uplinks. The Fibre
Channel interfaces are supported on optional expansion modules. The Fibre Channel plus Ethernet
expansion module contains four Fibre Channel interfaces.

我們買的是標準配備並不包含 "physical Fibre Channel",如需此項功能請再買 "expansion modules".是哪一個 expansion modules 呢!!請看下面的說明.

The Nexus 5020 switch has two slots for optional expansion modules. The following expansion modules
are available:
• N5K-M1404 provides four 10-Gigabit Ethernet ports, and four 1/2/4 Gb Fibre Channel ports.
• N5K-M1600 provides six 10-Gigabit Ethernet ports.

也就是需要再購買 " N5K-M1404" ,就可以在 Cisco Nexus 5020" 上使用 Fibre Channel Switching 功能.至於 Fibre Channel over Ethernet (FCoE).

Fibre Channel over Ethernet
Fibre Channel over Ethernet (FCoE) provides a method of encapsulating Fibre Channel traffic over a
physical Ethernet link. Cisco Nexus 5000 Series switches use FCoE to carry Fibre Channel and Ethernet traffic on the same
physical Ethernet connection between the switch and the server.

"Cisco Nexus 5000" 系列上所有的 10Gb Ethernet Ports 經過設定皆可當成 FCoE,系統預設為 "auto".

結論:: 要將其他 SAN Storage 運行在這一台 "Cisco Nexus 5020" 目前是辦不到的.除非再添購 N5K-M1404 expansion modules.

傳統的企業環境是 SAN + Network 不管是 SAN 還是 Network 裝置都需要格外添購這兩者無法共用,所有的裝置都需要兩套不管是 Server 上(Fiber Channel HBA + NIC)連 Switch 也必須 2 套,怎麼都無法整合在一起,如下圖所示

但是 Cisco Nexus 提供了一項技術 DCE(Data Center Ethernet,除了 Cisco 把這項技術命名為 DCE 其他廠商把類似的技術稱為 CEE(Convergence Enhanced Ethernet),所以當提到 DCE / CEE 都是相同的東西),也就是說不管是 SAN 的裝置還是網路的裝置只要透過 FCoE 這項技術就可以通通整合在一起,聽起來有點怪怪的他是怎麼做到的.
1.首先我們先來看看原先的 SAN 設備端裝置,它可以透過 Cisco Nexus 5000 系列的 Expansion Module 上的 Native Fiber Channel 連接在一台 Nexus 5000 上面.
2.再來看看傳統的 FC HBA(如:Qlogic , Emulex) 也可以透過 Cisco Nexus 5000 系列的 Expansion Module 上的 Native Fiber Channel 連接在一台 Nexus 5000 上面.就可以直接和 SAN 的裝置溝通了.但是這跟一般的 F.C Switch 有什麼不同呢!!
3.接下來我們看一般 Server 上的 10G NIC 要和 NIC 的裝置溝通是沒有什麼問題的,但是他怎麼有辦法和 SAN 設備端裝置溝通呢!!他是透過 FCoE 這一個協定去和 SAN 的裝置溝通,但是一般的網卡怎麼有辦法懂得 FC 的協定這有兩種解決方式 1.是硬體的 CNA(Converged Network Adapter) 2.軟體的 Linux 下的 open-FCoE ,就可以讓系統產生 FC Frame 然後讓 NIC 將這 Frame 封裝在傳統的 Enternet Frame 內,再透過 Cisco Nexus 5000 去傳送.

Fibre Channel over Ethernet(FCoE)

FCoE 照字面的意思就是將傳統的 Fiber Channel 指令封裝在 Enternet 的訊框(frames).

不同於 iSCSI 之處是 iSCSI 透過 TCP / IP 去傳送,FCoE 則是直接透過 Enternet 的訊框(frames)去傳送,所以資料是無法 Routing 的.

當然還要 switch 的支援才能使用.主要是 fiber channel 為了拉攏傳統以 IP 的網路環境 (我想是 iSCSI 拉走了不少 Fiber Channel 的客戶,像是 Dell EqualLogic 就只出純 iSCSI 的設備 ).主要 FCoE 是將 Fiber Channel 封裝在 Enternet 的 frame 上,但和 iSCSI 不同的是他不再使用 TCP / IP 的封裝.所以他不能在透過 IP routed 到達遠端網路.
傳統的 FC Switch 是應用在高端的 SAN 儲存系統上,當然費用貴很多不只要添購 Fiber Storage(SAN),而且要連接的 Server 時還需要透過 FC HBA 去連接,如果多台同時連接到 SAN 時還需要一台 SAN Switch.這樣添購下來成本只有大企業能負擔的起.
但是 Fiber Channel 的優點就是快 1G/2G/4G ,跟傳統 10/100/1Gbit Ethernet 相比,但是目前 eherent 網路頻寬已經到達 10Gbits,所以一般的網路也可以擔任起高速傳輸環境.而 FCoE 也就針對 10Gbit 的環境將傳統的 switch 去整合 Fiber SAN 環境整合在一起,使用者不要再添購多台 Switch(Ethernet,Fiber) 就能將兩種環境結合在同一台 Siwtch 上面.
那一般連接端就像是 iSCSI ,FCoE 解決方案有硬體有軟體下面的網站是軟體方式,主要在推行的 Intel,因為到目前為止 Intel 還是主要以製造 Ethernet 網卡為主.
FCoE SW Target
http://www.open-fcoe.org/openfc/wiki/index.php/FCoE_SW_Target_Quickstart
FCoE Initiator
http://www.open-fcoe.org/openfc/wiki/index.php/FCoE_Initiator_Quickstart
而硬體的方式以 CNA – converged network adapter 為主.你可以簡單把它想像成 Enthernet + Fiber Channel 同時做在同一張卡上.

所以整合SAN + Network 環境就簡單多了.

Virtual-machine-optimized networking

這跟 VMware 比較有關似乎 VMware 上的 Virtual Switch 可以和 Cisco Nexus 可以有一個程度上的整合.