ARCHITECTURE D'INFRASTRUCTURE

Infrastructure NVIDIA GB200 NVL72 et câblage MPO-8 APC pour les unités évolutives

Déconstruction de l'architecture de câblage d'une unité évolutive (SU) Blackwell, où 8 racks convergent en 9 216 brins de fibers actifs.

L’unité évolutive (SU) DGX GB200 représente un changement majeur dans l’architecture des centers de données. La SU est une entité unifiée de 576 GPU interconnectée par 9 216 brins de fibers actifs. ScaleFibre fournit les tronçons à terminaison précise nécessaires pour gérer cette densité.

Les 4 fabrics physiques du SuperPOD

NVIDIA segmente le SU en couches physiques distinctes pour isoler le trafic GPU.

MN-NVL (NVLink 5)

Mise à l'échelle verticale

Le réseau interne du rack connectant 72 GPU à 1,8 To/s.

  • Zéro fiber optique
  • Fond de panier passif en cuivre
  • Connecteurs blind-mate

InfiniBand de calcul

Mise à l'échelle horizontale

La fabric primaire ‘Est-Ouest’ pour l’entraînement massif multi-nœuds.

  • 4 608 fibers actives par SU
  • Topologie optimisée pour les rails
  • Quantum-3/Quantum-2

Stockage et In-Band

Frontend

Fabric basée sur Ethernet pour l’ingestion de données et le provisionnement à haute vitesse.

  • Facteur de blocage 5:3
  • Déchargement DPU BlueField-3
  • Prise en charge VXLAN/RoCE

Gestion OOB

Plan de contrôle

Le réseau isolé pour la télémétrie matérielle, le BMC et la gestion PDU.

  • Cuivre RJ45/Cat6
  • Niveau de commutateur SN2201
  • Sécurité par entrefer physique

Mesures SU Exascale

Une unité évolutive (SU) de 8 racks représente le bloc de construction fondamental de l'usine d'IA de NVIDIA.

9,216

Fibers actives par SU

4,608

Brins dédiés au calcul

5:3

Ratio de blocage du stockage

400G/800G

Vitesses de port natives

Les trois niveaux de connectivité SU

1
Niveau A : Serveur vers Leaf

1 152 fibers par rack utilisant des tronçons ou des jarretières à haute densité de fibers pour connecter les nœuds NVL72 aux commutateurs Leaf.

2
Niveau B : Leaf vers Spine

Agrégation du trafic aligné sur les rails au sein du SU à l’aide de liaisons 1:1 non bloquantes pour le calcul.

3
Niveau C : Spine vers Core

Mise à l’échelle au-delà du SU vers une zone Core centralisée à l’aide de tronçons à haute densité.

Patching traditionnel (Point à Point)

  • ✕
    Complexité manuelle : Nécessite 9 216 cordons de brassage individuels par bloc de 8 racks.
  • ✕
    Obstruction du flux d’air : Les faisceaux de câbles denses bloquent les chemins d’évacuation du refroidissement liquide.
  • ✕
    Profil de risque : Forte probabilité de ‘rails croisés’ lors du patching manuel 1:1.
  • ✕
    Temps de déploiement : Plus de 115 heures pour le routage et l’étiquetage manuel par SU.

Câblage modulaire à haute densité de fibers

  • ✓
    Plug-and-Play : Consolide des milliers de fibers en tronçons pré-terminés sur mesure (128F/144F/256F/288F/576F).
  • ✓
    Optimisation thermique : Les câbles de petit diamètre maximisent le flux d’air dans les racks denses.
  • ✓
    Efficacité du cheminement : Consolide 1 152 fibers actives par rack en dorsales MPO à haute densité.
  • ✓
    Profil d’installation : Déploiement rapide via des assemblages pré-terminés et testés en usine.

Croissance des fibers actives : du nœud au SuperPOD complet

Complexité du câblage
9 216 fibers actives par SU nécessitent des tronçons modulaires à haute densité de fibers pour éviter le 'chaos de câbles' bloquant le flux d'air.

Unité évolutive visualisée

Le bloc de calcul 8 racks
Le bloc de calcul 8 racks

Une SU (unité évolutive) NVIDIA GB200 se compose de 8 racks, chacun abritant un système DGX GB200 NVL72 avec 72 GPU.

Distribution de tronçons à haute densité de fibres
Distribution de tronçons à haute densité de fibers

Consolidation de milliers de fibers de rack en tronçons haute densité pour un dégagement du flux d’air, une installation rapide et une utilisation minimale des chemins.

Refroidissement liquide
Refroidissement liquide

Des plaques froides à refroidissement liquide stabilisent l’environnement des plateaux, permettant aux émetteurs-récepteurs OSFP d’évacuer efficacement la chaleur via des dissipateurs thermiques.

Technical FAQ

+ Comment le nombre de SU reste-t-il gérable avec 9 216 fibers ?
En utilisant une hiérarchie de câblage étagée. Les tronçons à haute densité de fibers remplacent des milliers de cordons de brassage MPO individuels, réduisant le volume physique et prévenant les obstructions de refroidissement.
+ Qu'est-ce que le 'facteur de blocage 5:3' dans la fabric de stockage ?
Contrairement à la fabric de calcul non bloquante (1:1), le réseau de stockage est intentionnellement sursouscrit. Cela réduit les coûts et la complexité des fibers tout en répondant à l’exigence de 40 Go/s par nœud pour le stockage. Le déploiement utilise souvent des câbles de brassage MPO compatibles NVIDIA.
+ Pourquoi la fabric NVLink interne est-elle sans fiber ?
NVIDIA utilise un fond de panier passif en cuivre et des cartouches de câbles à l’intérieur du rack NVL72. Cela élimine des milliers d’émetteurs-récepteurs optiques et de fibers, réduisant considérablement la consommation d’énergie et la latence. La fiber optique est réservée à la fabric de calcul scale-out.
+ Que se passe-t-il lorsque nous passons à 16 unités évolutives ?
À l’échelle de 16 SU (9 216 GPU), le nombre total de fibers actives pour la fabric de calcul seule atteint 18 432 brins. La gestion de cette densité nécessite des boîtiers haute densité conçus spécifiquement pour la fiber optique à haute densité et des architectures de commutation centralisées en groupe de cœur.
+ Pourquoi utilise-t-on le MPO-8 au lieu du MPO-12 standard ?
Les émetteurs-récepteurs modernes 400G NDR et 800G XDR utilisent des optiques parallèles à 4 ou 8 voies. Un alignement MPO à 8 fibers correspond parfaitement à la configuration 4x Tx et 4x Rx. L’utilisation de tronçons MPO actifs à 8 fibers élimine les fibers ‘sombres’ ou gaspillées au sein de la fabric du cluster.
+ Quelle est l'importance du polissage APC (Angled Physical Contact) ?
La signalisation haute vitesse 100G-PAM4 est extrêmement sensible aux réflexions. L’angle de 8 degrés d’un connecteur APC garantit que la lumière réfléchie est absorbée dans la gaine de la fiber, maintenant la perte de retour optique (ORL) élevée requise pour un entraînement d’IA sans erreur.
+ Comment la densité des fibers impacte-t-elle les salles d'IA refroidies par liquide ?
Même avec des plateaux refroidis par liquide, l’air doit toujours circuler pour gérer la chaleur secondaire. L’utilisation de câbles SmartRibbon haute densité réduit considérablement le diamètre du câble, garantissant que le câblage physique n’obstrue pas le flux d’air ou les collecteurs de refroidissement liquide.
+ Quelles sont les limitations de distance pour le câblage au niveau SU ?
Le multimode (OM4/OM5) est limité à 50 mètres pour le 400G/800G. Pour les liaisons Spine-vers-Core centralisées qui dépassent cette distance, la fiber monomode G.657.A1 est obligatoire pour prendre en charge des portées plus longues sans dégradation du signal.
+ Puis-je utiliser des câbles extérieurs standard pour les dorsales des centers de données AI ?
Non. Les salles d’IA intérieures nécessitent des câbles LSZH (Low Smoke Zero Halogen), Riser ou Plenum pour satisfaire aux réglementations de sécurité incendie requises selon les réglementations locales. Pour les chemins de câbles haute densité, des câbles intérieurs SlimCORE spécialisés fournissent le nombre de brins nécessaire dans un diamètre réduit.
+ Quel est l'avantage des pigtails pré-terminés en usine dans le SU ?
Les pigtails à fibers optiques à cordon MPO permettent un épissage par fusion de masse rapide au niveau de la couche Spine ou Core. Cette terminaison contrôlée en usine à une extrémité offre les avantages de la pré-terminaison, tandis que l’extrémité ‘brute’ permet une flexibilité pour s’adapter à la longueur requise sur site.

Structurez votre usine d'IA

ScaleFibre fournit des solutions de câblage pré-terminées pour les déploiements NVIDIA DGX SuperPOD.

Nous contacter

Obtenez des détails sur les tronçons à haute densité de fibers pour votre SU NVIDIA DGX.

Partager: