Architectures de câblage en Datacenter : ToR, EoR et autres considérations

février 07, 2014  |   Actualités,Blog   |     |   2 commentaires

 

Introduction

 

L’importance de l’architecture physique d’un réseau au moment de sa conception est souvent sous-estimée. Il est assez courant de voir cette problématique être abordée une fois l’architecture logique déterminée

Pourtant l’impact du câblage est très fort sur de nombreux aspects :

  • Coût : le coût du câblage n’est pas négligeable, et une mauvaise conception de l’architecture physique peut avoir des conséquences financières lourdes (les connecteurs SFP peuvent facilement doubler le prix d’un switch …)

  • Fiabilité : de nombreux incidents sont liés à un problème de connectivité physique, parce qu’une manipulation au milieu d’une forêt de câbles a malheureusement débranché l’un d’eux, ou bien à cause d’une erreur de repérage de câble.

  • Exploitabilité : Il est parfois difficile d’aller racker un serveur dans une baie et d’y amener la connectivité réseau quand le câblage est déjà complexe

  • Evolutivité : L’évolutivité et la flexibilité d’une infrastructure sont fortement liées à l’architecture physique

 

ToR vs EoR

 

Il ne s’agit pas ici d’un combat entre des dieux nordiques, mais d’un choix entre deux types d’architecture physique pour le câblage en datacenter.

ToR

ToR, qui signifie « Top of Rack », consiste à mettre un switch d’accès dans chaque baie pour offrir la connectivité nécessaire à tous les serveurs qui y sont rackés. Le but est de garder le plus gros du câblage à l’intérieur de la baie. Le seul câblage vers l’extérieur étant celui des uplinks du switch ToR vers les switches d’agrégation/coeur.

Cette solution apporte plusieurs avantages :

  • Le coût du câblage est diminué, comme le câblage inter-baie concerne uniquement des fibres d’uplinks, il n’y a pas besoin de pré-cablage avec des patch-panel et les chemins de câble peuvent être aériens

  • Les opérations sont simplifiées pour câbler un nouveau serveur et les erreurs de câblage diminuées

  • L’architecture est flexible et évolutive : on rajoute facilement une nouvelle baie qui vient se raccrocher sur les switches d’agrégation avec seulement une ou deux fibres. La connectivité des serveurs est adaptée en positionnant le switch ToR adéquat à l’intérieur de la baie.

Câblage  ToR

Câblage ToR

 

EoR

EoR signifie « End of Row ». Contrairement à la solution ToR, aucun switch ne se trouve dans les baies serveurs. A la place, au bout de chaque rangée, un ou plusieurs switches assurent la connectivité de tous les serveurs de la rangée. Il s’agit en général de châssis qui ont un grand nombre d’interfaces, une grosse capacité de fond de panier, et des possibilités d’évolution grâce à la modularité des cartes de ligne.

Les avantages, par opposition à l’architecture ToR, sont les suivants :

  • Un nombre de points de management réduit

  • Un coût d’achat et de maintenance réduit pour les switches

  • Un meilleur dimensionnement du nombre de ports (surtout en cas de faible densité où des switches ToR seraient sous-utilisés)

Câblage EoR

Câblage EoR

 

Pour diviser par deux la longueur moyenne des câbles, on peut opter pour un positionnement MoR (Middle of Row) au lieu du bout de rangée classique.

 

Quelle solution choisir ?

Cela dépend principalement de la densité de serveurs dans les baies et leur besoin en termes de connectivité.

Imaginons le cas suivant :

Une rangée de 12 baies, chaque baie contient 20 serveurs qui ont besoin chacun de 3 interfaces (sauvegarde, management et production par exemple)

La solution EoR conduirait à un plat de spaghetti géant dans le faux plancher pour amener nos 720 câbles en bout de rangée.

Par contre, dans le cas où le besoin en interfaces réseau est faible, que ce soit pour des baies de disques, des chassis de serveurs en lame, ou pour des équipements imposants éprouvant la limite de consommation électrique de la baie, l’utilisation d’un switch par baie est de facto surdimensionnée.

On peut également choisir des solutions intermédiaires, comme le « top of many rack », qui consiste à mettre un switch tous les deux ou trois racks dans le cas où la densité est variable ou bien légèrement trop faible pour remplir un switch par baie.

 

Les Fabric Extender

 

Cisco propose une solution qui tente de répondre aux inconvénients des deux topologies. L’idée du Fabric Extender (FEX) est d’avoir à la fois les avantages du management d’une solution EoR avec un seul point de management par rangée, et en même temps garder le câblage simplifié du Top of Rack.

Le Fabric Extender s’apparente à un switch Top of Rack classique, mais ce n’est en réalité rien d’autre qu’une carte de ligne déportée et managée par un switch parent (Nexus 5000 ou Nexus 7000 ).

Le switch parent contient non seulement la configuration des ports du Fabric Extender (plan de management), mais assure également son plan de donnée (data plane) et évidement son plan de contrôle (control plane). En clair, deux serveurs qui communiquent entre eux repassent par le switch parent, même s’ils sont brassés sur le même FEX.

La communication entre le switch parent et le Fabric Extender se fait via une encapsulation des trame Ethernet dans un format d’abord introduit par Cisco et maintenant en cours de standardisation par l’IEEE sous la dénomination 802.1BR (anciennement  802.1Qbh)

Cette solution comporte tout de même quelques inconvénients :

  • Bien qu’en cours de standardisation, c’est aujourd’hui une solution supportée uniquement par Cisco

  • Les FEX ne sont pas de véritable switches, et ont donc quelques lacunes fonctionnelles

    • Pas adaptés pour y brancher un autre switch : pas de support du spanning-tree (BPDU Guard activé par défaut), et pas de storm-control

    • Pas de support des PVLAN

    • Impossible d’utiliser un port de FEX en tant que destination SPAN ( Les ports de FEX peuvent seulement être port source)

  • Le FEX n’effectuant pas de switching local, les liens d’uplink doivent être dimensionnés en conséquence

 

La rationalisation du câblage

 

Un certain nombre de technologies peuvent avoir un impact sur le câblage :

    • Le 10Gb et le FCoE :

La combinaison de ces deux technologies (la première étant un pré-requis à la seconde) permet de diminuer le nombre d’interfaces utilisées par serveur dans les cas ou le Fiber Channel est utilisé. En effet, traditionnellement les serveurs utilisant un stockage sur du SAN possèdent deux interfaces HBA en plus de ses interfaces réseau. Le FCoE permet d’utiliser un seul et même câble pour faire passer le trafic FC et le trafic réseau classique.

    • Les châssis lame :

Les serveurs lames ou « blade », sont insérés dans un chassis qui mutualise une partie du materiel comme les ventilateurs ou les alimentations, mais également les câbles réseaux (ils possèdent généralement un module switch)

    • La virtualisation :

La virtualisation amène naturellement une rationalisation du câblage puisque l’objectif est de réduire le nombre de serveur physique

 

Conclusion

 

Le câblage en datacenter n’est pas une problématique indépendante de l’architecture logique du réseau, mais une partie intégrante de celle-ci. Il faut l’intégrer dès le départ dans la réflexion du design, en prenant en considération les besoins de connectivité, de sécurité, d’évolutivité, de flexibilité, de management etc. comme pour n’importe quel autre choix technique.

2 Commentaires pour cet article

    Avatar
    gtrmaroc
    février 6th, 2017 on 21 h 15 min

    Merci bcp

    Avatar
    Installateur cablage réseaux
    août 20th, 2018 on 19 h 17 min

    Article utile. Le choix d’architecture de câblage est en effet très important pour supporter les évolutions du réseau d’où l’intérêt de bien connaitre les avantages de chaque type d’architecture physique à la disposition d’un datacenter.