Cisco UCS roadshow

V létě proběhla v rámci Cisco seminářů akce Cisco UCS roadshow v několika městech ČR, na které jsem přednášel.


Roadshow proběhla postupně v Ostravě, Praze, Brně a Plzni. Kromě Ostravy jsem na ostatních roadshow přednášel o nasazení Cisco UCS systémů na univerzitě VŠB-TU Ostrava. Na webu prezentace nejsou vystaveny, ale tu mou s názvem IT technologie datového centra VŠB-TU Ostrava si můžete prohlédnout zde.

Ve zkratce, prezentace se zaměřuje na komponenty:

• L3 přepínače Cisco Catalyst 6500
• datacentrové přepínače Cisco Nexus 5500UP
• disková úložiště Netapp FAS3240
• serverové systémy Cisco UCS
• virtualizační infrastruktura VMWARE
• virtuální přepínače Cisco Nexus 1000V

Celý článek......

Best Practice Document: Infrastruktura datových center

Po nějaké době sbírání zkušeností a studování jsem se sebral a po troškách času a sepsal jsem po večerech best-practice dokument o infrastrukturách datových center.


Dokument byl publikován v rámci GEANT projektu, který sbírá a publikuje best-practice dokumenty. V dokumentu jsem popsal v podstatě zkušenosti s implementací našeho datového centra na VŠB-TU Ostrava, konvergovaného ethernetu, Cisco UCS serverů a diskových úložišť. Díky LEGO konceptu lze v podstatě libovolnou komponentu (směrovače - přepínače - servery - storage - VI) nahradit jinou, takže jako inspirace a praktickou orientaci to myslím bude dobré :-)

A nakonec, dokument v angličtině naleznete zde.

Celý článek......

Cisco Nexus1000V je i ve free verzi

Cisco uvolnilo virtuální switch pro virtuální VMware a Hyper-V infrastruktury i ve free verzi. Jaké jsou rozdíly mezi free/essential a Advanced (placenou) verzí?


Doposud Cisco virtuální switch Nexus1000V pouze prodávalo. Nově vydalo i free verzi. Podívejme se tedy, jaké jsou rozdíly mezi oběma verzemi.

Společné vlastnosti:

• podpora VLAN, ACL, QoS
• VXLAN, vPath
• LACP
• multicast
• NetFlow, ERSPAN
• Management
• vTracker
• vCenter plugin

V Advanced verzi pak jsou dostupné i tyto vlastnosti:

• podpora Cisco TrustSec
• DHCP snooping, IP source guard, ARP inspection
• VSG - Virtual Security Gateway

VSG byl předtím samostatný produkt, který je nyní dodáván v rámci Advanced balíčku N1K.

Vyplatí se nasadit N1K ve free verzi? IMHO by to nemuselo být špatné, protože vlastnosti advanced verze nejsou ani v přepínači integrovaném ve VMWARE a navíc jsou k dispozici další vlastnosti a lze sjednotit správu sítě. Správa sítě, která nezajišťuje správu virtuální infrastruktury. má možnost případně omezit i jednotlivé systémy tak, jako ve fyzické infrastruktuře.

Update 29.3.2013: Cisco Nexus 1000V je možno využít pouze s VMWARE Enterprise+. Viz informace např. na Cisco support community fóru.

Celý článek......

Cisco Catalyst 2960 LAN Base a LAN Lite

Chcete pořídit Cisco Catalyst 2960 a nevíte zda LAN Base nebo LAN Lite?


Oba modely jsou velmi podobné a je potřeba zdůraznit, že LAN Lite verzi nelze povýšit na LAN Base, a to ani výměnou IOSu.

LAN Lite nepodporuje:

• některé typy SFP traceiverů, konkrétně je problém s optickými ZX, BX a 100FX traceivery, které v Lite verzi nerozchodíte
• omezená ACL
• absence DHCP snoopingu, což bych v mnoha případech doporučil
• není podpora 802.1x, web autentizace
• omezená podpora QoS, není podpora policingu, DSCP, AutoQoS, definice front pro QoS
• není podpora Flex Links, Link State Tracking
• omezené množství VLANů: LAN Lite 64, LAN Base až 256
• není podpora IPv6 - MLD snooping
• LLDP-MED
• není podpora RSPANu, MVR
• není podpora IP SLA

Bližší info lze nalézt na Cisco webu.

WS-C2960-48TC-L se dá koupit za 21 tKč bez DPH, LAN Lite pak za 12 tKč bez DPH (ceny 2012/10). Upgrade z LITE na BASE verzi není možný ani výměnou IOSu. To nejde, osobně jsem to zkoušel.

Smysl má asi jen v nějakých jednoduchých a třeba samostatných částech sítě, kde výhodou je jednotná správa celé infrastruktury. V těchto situacích mi osobně pak ale chybí minimálně IP SLA.

A tragický mi připadá u LITE verze přístup k IPv6, kde není podporován MLD snooping. Mám totiž pocit, že interně se jedná v případě obou přepínačů o stejný HW a tak takové ořezávání bych pochopil u omezení na počty VLANů, QoS. Ale nevím, zda je dobrá cesta osekávat IPv6, DHCP snooping, ARP inspection, které se dnes u mnoha výrobců objevují u levných modelů. Zase je pravda, že ta podpora těchto funkcí není i u mnoha modelů konkurenčních výrobců stabilní.

Ve finále je třeba se hodně rozmyslet, zda koupit LAN LITE verzi a hlavně si uvědomit, že není možno ten prvek povýšit na LAN BASE.

Celý článek......

Cisco Campus FEX

Koncept FEXů jsem popsal v jednom starším příspěvku o technologii Cisco Nexus 5000. V zásadě se jedná o to, že je nějaký centralizovaný prvek, ke kterému se formou modulů připojují jiné prvky bez vlastního managementu.


V oblasti LAN switchingu ale FEX koncept zatím není. Podle prezentace Catalyst switching innovations ze 4.března 2012 to vypadá, že Cisco Campus FEX technologii zmínilo i v nějakých svých materiálech a je zařazena do road-mapy. Autorem toho dokumentu je pán Hariprasad B.S. Holla, který pracuje na pozici Technical Marketing Engineer v Ciscu.

Moc pěkné. Dnes je praxe taková, že chcete-li vybavit rozvaděč spoustou portů, tak si koupíte nějaký levnější modulární přepínač (nejlevnější v Cisco portfoliu jsou Catalysty 4500). Ale i ten je omezen počtem volných slotů a interface karty nejsou nejlevnější...

Takže dnes si, kvůli úspoře, začnete budovat hvězdicovou topologii. Do středu topologie si postavíte agregační přepínač a k němu připojíte spoustu přístupových přepínačů. Hned máte spoustu prvků ke správě. Konzumují adresy, zdroje, máte o něce složitější správu, složitější SPT atd.

V Campus FEX konceptu připojíte k chytrému centrálnímu přepínači (Catalyst 4500/6500?) obyčejné prvky, které se na centrálním prvku jeví jako portové moduly. Výborné tedy je, že v případě, že fyzicky tento modul odejde, tak může jeho výměnu zajistit prakticky kterýkoliv majitel dvou rukou a jedné hlavy (ano, nohy jsou také třeba). Není potřeba do prvku nahrávat poslední IOS, konfiguraci původního přepínače atd. Stačí jedna adresa, jedno rozhraní.

Jinak ten dokument není nezajímavý. Sice jen bodově zmiňují vlastnosti, které by se v Catalystech měly objevit. Od VSS, ISSU, Wireshark přímo v IOSu, EVNka atd. Tak uvidíme, kdy se na světlo světa dostanou další konkrétnější informace.

Celý článek......

PAT a NAT

Pár čtenářů mi na blog chodí, i když jsem dost dlouho psal jen koncepty, které jsem nepublikoval. Ale jeden pochvalný mail (díky :-) způsobil, že se dotahovaní konceptů budu snažit i věnovat. Takže jeden z konceptů dotahuji, dnes tedy PAT a NAT (ne MAT!) v Cisco IOSu.


Opět stejný důvod - příspěvek píšu, abych případně zatarasil slepé cesty jiným, ať to mají snadno, rychle, česky a odzkoušeně.

PAT je Port Address Translation, NAT je Network Address Translation. Klasický NAT se nakonfiguruje velmi jednoduše:

interface FastEthernet0
  description Internet Connection
  ip address 1.2.3.4 255.255.255.0
  ip nat outside
  ! Pouzivame uRPF, ze ano :-)
  ip verify unicast source reachable-via rx allow-default allow-self-ping
!
interface vlan10
  description Internal network
  ip address 192.168.10.1 255.255.255.0
  ip nat inside
  ip verify unicast source reachable-via rx allow-default allow-self-ping
!
! Specifikujeme adresy sítí, ktere chceme překládat
access-list 1 permit 192.168.0.0 0.0.255.255
!
! Aplikujeme pravidlo pro NAT
ip nat inside source list 1 interface FastEthernet0 overload

Na kontrolu pak použijte příkazy show ip nat translations ..., které poskytují dostatek informací o NATu. Vyladit si NAT můžeme konfiguračními příkazy ip nat translation ..., kde lze nastavit různé timeouty, počty spojení atd.

Občas někdo potřebuje mít přímý přístup na port nějakého prvku zapojeného ve vnitřní síti (třeba remote desktop). Lepší cesta a bezpečnější cesta je tyto přístupy realizovat přes VPN, ale někdy to s různých důvodů nejde. Pro tyto případy lze realizovat tzv. destination NAT/PAT, kdy veřejná adresa (NAT) nebo třeba TCP/UDP port (PAT) směrovače lze mapovat na konkrétní privátní adresu, popř. port. V našem případě je příklad, kdy port TCP/8000 je směrován na privátní adresu 192.168.10.50:80.

! Budeme potřebovat nějaký destination PAT
ip nat inside source static tcp 192.168.10.50 80 interface FastEthernet0 8000

Tento postup jsem ověřil na Cisco směrovacích řady 1800, tedy bez problémů by měl být aplikovatelný minimálně na všechny ISR směrovače.

Rozšířit konfiguraci můžeme i o to, že na výstupním rozhraní aplikujeme sekundární adresu. Na tuto adresu můžeme aplikovat NAT pravidla (hledejte místa, kde jsem dal FastEthernet0, dá se nahradit adresou).

Celý článek......

ASR 1000 po rozbalení...

Jak jsem psal v létě, tak jsme pořídili pro počítačovou síť VŠB nové hraniční směrovače ASR 1000. Na podzim nám byly dodány, takže už můžu popsat první praktické zkušenosti. Není to žádná recenze, berte tento text také jako uhlazenější poznámky, které mohou být k užitku i jiným, ať už při plánování nebo při samotné konfiguraci směrovačů.

ASRka, jak je budu familiárně v tomto blogu nazývat, jsou boxy postavené na Linuxovém jádře, kde běží jako jeden proces IOS-XE. My jsme je pořídili jako 4-slotové šasi s route procesorem RP1, třemi 10Gbps XFP rozhraními a dvěma zdroji. K tomu FW a FPI licence.

Do 4-slotového šasi jsem šel proto, že je možno vyměnit i route procesor, což poskytuje možnost v budoucnu směrovač modernizovat. U dvouslotového šasi ve fixed variantě route procesor vyměnit nelze, i když má v ceně nějaké gigabitové porty. U ne-fixed varianty máme stejně poměrně velký limit na porty a rozšíření. Z našeho pohledu jsou důležité 10Gbps porty a jejich počet. A větší šasi už jsou bohužel drahé. Směrovače budou v pozicích hraničních směrovačů, takže počet jejich portů bude omezen na nějaké menší množství. Součástí dodávky jsou palety z tvrdého dřeva, za což Ciscu se sousedem děkujeme :).

Protože směrovače jsou dva a mají se funkčně zálohovat, tak nebylo potřeba pořizovat druhý route procesor (RP). Pořízení druhého RP by navíc stálo další finance, kterých teď nikdy dost. Oba směrovače budou umístěny ve dvou lokalitách - Poruba a EkF.

Konfigurace IOS-XE je v podstatě stejná jako v klasickém IOSu, takže základní konfigurace není třeba nijak zvlášť upravovat.

Šikovná věc je to, že samotný IOS je provozován jako proces. To umožňuje realizovat softwareový statefull switchover. To se hodí např. při upgrade, nebo když potřebujete provést reload IOSu. Když jsem si s tím hrál, tak to vypadalo funkčně. Bližší informace viz příkazy show redundancy a redundancy force-switchover, výpadek dostupnosti byl cca 3s. Nicméně to vypadá rozumně jen pro případ pádu/problémů s IOSem. ISSU na jednom RP vyžaduje v některých případech reload.

Naše obě sestavy jsou zcela identické a jsou osazeny třemi 10Gbps porty. Jeden port je zapojen dovnitř sítě, druhý směrem do sítě CESNET2 (Internet). Na třetí bude s největší pravděpodobností připojen L2 přepínač Cisco Catalyst 2960, který de-facto rozšíří konfiguraci směrovače o gigabitové porty. I když to není technicky optimální, tak je to funkční a levnější řešení, než kupovat modul do směrovače.

A pokračování zase někdy příště :-)

Celý článek......

Přepínače Cisco NEXUS 5000 II.

Dnes tedy o tom, jak jsme přepínače Cisco Nexus 5000 zapojovali...


Nexusy jsou velké. Tedy lépe řečeno hluboké. Ano, jsou vysoké 1U, ale nepočítejte, že se vlezou do racku, kde máte 6500. Ano, opravdu počítejte s metrovým rackem. Takže jsem je musel položit na stůl. Jak je vidět, tak FEXy (=Nexus 2000) už mají "normální" rozměry (jeden FEX je položen vlevo na jednom Nexusů).

Nenechte se mást monitorem a klávesnicí na fotce. Ty patří k serverům umístěným za stolem. I když v Nexusech je Linux, tak se k přepínačům přistupuje přes normální konzolový přístup (9600N1). Nexusy mají management Ethernet port, který se v konfiguraci tváří jako mgmt0 a nelze jej použít k ničemu jinému.

Všiměte si těch černých Twinax kabelů. Mají omezení na 5m a obsahují metalický kabel a jejich konce jsou SFP+ rozhraní, které rovnou vložíte do Nexusů, popř. do SPF+ portů síťových karet. A jejich cena je velmi nízká v porovnání s jinými alternativami. Bez problémů jsem je používal na propojení Nexusů, FEXů i koncových serverů.

Nexusy mají pouze SFP+ porty. I když jsem se dočetl, že ve vybraných portech Nexusů lze provozovat klasické SFPčka, tak se mi to bohužel nepodařilo zprovoznit.

FEXy jsou pěkný koncept. Prostě vezmete jedno (údajně) hloupé zařízení a prohlásíte ho za modul hlavního přepínače. Ten modul spojíte s hlavním přepínačem jedním nebo více 10Gbps okruhy. A aby byl celý systém odolnější proti výpadkům, tak lze FEXy připojit ke dvěma Nexusům. Konfiguruje-li se nějaký port, příslušného modulu, tak se musí nakonfigurovat na obou Nexusech. Žádná výměna informací o konfiguraci portu FEXu zde neexistuje. Při ztrátě spojení FEXu s jedním z Nexusů začne FEX spolupracovat se záložním Nexusem a koncové zařízení je stále dostupné. Prakticky jsem to zkoušel, pár paketů se ztratilo, ale konvergence byla rychlá. Alespoň z pohledu IP sítě.

Cena FEXu je, co se týče ceny na port, výrazně nižší než u jiných Cisco alternativ. Ať už se porovnávají 1Gbps L2 přepínače (Catalyst 2960) nebo 10Gbps (Catalysty 4900).

VPCčka jsou plně funkční, s těmi k žádným problémům nedošlo. Ve zkratce - dvě zařízení se vůči jinému zařízení (tedy druhé straně port channelu) tváří jako jedno zařízení. Není to zcela optimální z hlediska výběru nejkratší cesty v L2 síti. V praxi dochází ke stavům, kdy rámec pro koncové zařízení připojené k přepínači NEXUS2 je posíláno v datovém spoji k zařízení NEXUS1. NEXUS1 pak pošle rámec na NEXUS2. K tomuto jevu dochází proto, že na odesílajícím přepínači je rozdělování provozu realizováno klasickou hash funkcí (obvykle src-dst-ip) a podle toho je rámec poslán příslušným spojem. Odchozí provoz z Nexus přepínačů je už pak posílán nejkratší cestou tak, jak ji vypočte SPT protokol.

Největší neznámou pro mě byly otázky kolem Fiber Channelu (FC). Trochu jsme se potrápili s HW zapojením karet (díky J.Benešovi vyřešeno :-). Server byl připojen do FEXu, diskové FC pole pak bylo duálně připojeno přímo do dvou Nexusů. Málem jsme testování FC nestihli, ale dva dny to R.Slíva testoval ze strany serveru a diskového pole a nevyjádřil nespokojenost :-) Jak se dívám na obrázek, tak FC pole není ve schématu zakreslené. Z CNA karet byly realizovány dva spoje, které by měly být v ideálním případě ukončeny na dvou FEXech, které jsou duálně připojeny ke dvěma Nexusům.

A protože se mi nechce schéma zapojení překreslovat, tak přikládám fotku zapojení.

Nexusy do datového centra mi přišly jako docela rozumné zařízení. V našem případě máme po sálech datacentra rozmístěno dvanáct L2 přepínačů. Některé jsou 10/100Mbps, některé 10/100/1000Mbps, jejich oddělená správa také není zcela ideální. Zapojením dvou přepínačů a několika FEXů bychom dosáhli lepší škálovatelnosti. A při nasazení 10Gbps portů nevidím v podstatě v portofoliu Cisca alternativu.

Celý článek......

Přepínače Cisco NEXUS 5000 I.

Tak jsme se domluvili s firmou Cisco a dostali jsme zapůjčeno k testování zařízení Cisco Nexus 5000. Teď je důležité to celé prodrátovat a spustit...


Tak jsme dostali, jako perspektivní univerzita :-), zapůjčeno zařízení Cisco Nexus 5000. Přepínače Cisco Nexus 5000 jsou určeny do datových center a tedy primárně jsou určeny pro připojení serverových systémů. Oproti klasickým L2 přepínačům umí ještě pracovat s technologií FCoE a lze k nim připojit i FC pole. Tedy žádná hračka domů nebo do normálního rozvaděče. Tomu propojení Ethernetenu a Fiber Channelu se říká konvergovaný ethernet.

Myšlenka konvergovaného ethernetu spočívá v použití jediné CNA karty v serveru, což má uspořit místo, kabelář a energii (všichni chceme být zelení, že?). CNA znamená Converged Network Adaptér. Tato karta má integrován řadič, který se v OS tváří jako FC řadič. Zároveň se karta tváří jako dvě klasické 10Gbps síťové karty. Samotná karta má dvě rozhraní, které lze připojit ke dvěma zařízením a posílá ethernetové rámce. Některé klasické, jiné jsou FC zabalený do ethernet rámce. Není tedy potřeba k serveru připojovat kabeláž počítačové sítě a zároveň kabeláž SAN sítě.

Naše sestava byla poskládána ze dvou zařízení Nexus 5020 a k dispozici máme tři FEXy a dva FC moduly, do každého Nexusu jeden. FEX znamená Fabric EXtender a je to fajn věc. Ta zařízení nemají z pohledu správy sítě v podstatě žádnou logiku a lze si je představit jako moduly, které jsou fyzicky připojeny jednou nebo více 10Gbps trasami.

Nexusy umí i technologii VPC - Virtuální Port-Channely. Na první pohled výborná věc. Jiné zařízení připojíte dvěma okruhy ke dměma Nexusům, ale pro to zařízení se bude jednat o jeden port-channel. S ním pak můžete pracovat jako s klasickým port-channelem. Nexusy se mezi sebou domlouvají a vůči tomu zařízení se tváří jako jedno zařízení. Uvnitř se ale každý Nexus chová jako samostatný přepínač, řídí se svými MAC address tabulkami, tak nečekejte žádný balancing vzhledem k tomu druhému zařízení. Takže zcela jistě vznikají v síti asymetrie a koncová zařízení je vhodné rozkládat na oba Nexusy.

Tak uvidíme, co vše zvládnou v provozu... :-)

Celý článek......