Extension de GPU
Pour activer les charges globales accélérées par GPU dans le centre de données local, une installation Compute Cloud@Customer peut être étendue avec des noeuds de serveur sur lesquels des GPU sont installés.
Les noeuds GPU sont livrés dans un rack d'extension contenant des unités de distribution de courant (PDU) et des composants réseau pour intégrer les ressources physiques supplémentaires au rack de base. Un rack d'extension de GPU contient au moins 1 et un maximum de 6 noeuds de GPU installés en usine. D'autres noeuds peuvent être installés après le déploiement initial. Jusqu'à deux racks d'extension peuvent être connectés à un rack de base, pour un maximum de 12 noeuds GPU.
Un noeud GPU est un serveur 3 RU doté d'une architecture Intel Xeon Platinum 8480+, d'une connectivité Ethernet haut débit et de quatre GPU NVIDIA L40S avec 48 Go de mémoire GDDR6 et 1466 pic FP8 TFLOPS. Une fois ces noeuds entièrement provisionnés, leur utilisation est transparente : lors du lancement d'une nouvelle instance de calcul, les utilisateurs sélectionnent une forme de calcul dédiée pour allouer des GPU à l'instance. Pour obtenir une description des formes disponibles, reportez-vous à Formes de calcul.
Pour les spécifications détaillées des composants, reportez-vous au site Web du fabricant.
Oracle Compute Cloud@Customer avec extension GPU fournit une plate-forme évolutive pour créer des applications exigeantes en IA et en graphiques en périphérie. Il est conçu pour alimenter la nouvelle génération de charges de travail de centre de données, notamment :
-
Inférence en IA générative : inférence en temps réel pour les pipelines d'IA générative multimodèle (texte, image, audio et vidéo)
-
Formation et affinage des LLM : performances accélérées pour affiner les LLM moyens et former les petits LLM avec le moteur de transformateur de NVIDIA et le support FP8
-
Applications graphiques intensives et VDI : 3D graphiques et flux de travail de rendu avec les fonctionnalités RTX et de ray tracing de NVIDIA
-
Jumeaux numériques utilisant NVIDIA Omniverse : développer et exploiter des workflows complexes de numérisation industrielle 3D
-
Media streaming : augmentation de la densité de codage/décodage et prise en charge de AV1 pour le streaming vidéo 4K
-
HPC : analyses de données scientifiques et charges de travail de simulation avec le support FP32
Exigences relatives à l'installation
- Préparation du site
-
Si vous avez décidé d'étendre votre environnement Compute Cloud@Customer avec des noeuds GPU, planifiez soigneusement l'installation du matériel supplémentaire. Le rack d'extension GPU a les mêmes dimensions externes que le rack de base et contient le même type de matériel. Par conséquent, les conditions requises pour le site du rack de base s'appliquent également au rack d'extension. Ils sont décrits en détail dans la section d'installation Preparing the Installation Site.
- Câblage du rack
-
Les connexions de câbles entre le rack de base et le rack d'extension GPU ne doivent pas dépasser 25 mètres. Allouez un espace pour le rack d'extension près du rack de base, en veillant à ce que le câblage inter-rack soit dans la longueur maximale spécifiée lorsqu'il est acheminé par le sol ou le plafond. La longueur de câble requise doit être spécifiée avec la commande.
- Stockage haute performance
-
Les formes de calcul GPU sont optimisées pour une vitesse élevée et une faible latence. Ils utilisent exclusivement du stockage hautes performances, ce qui signifie que le système ZFS Storage Appliance doit fournir un pool de stockage hautes performances composé d'un ou plusieurs tiroirs de disques performants. Si aucun plateau de performances n'est présent dans l'installation existante, un plateau est ajouté à l'ordre d'extension du GPU. Si le rack de base n'a pas d'unités de rack disponibles pour ajouter le tiroir de performance, il sera installé dans un rack d'extension de stockage. Le pool de stockage hautes performances doit être configuré avant que le rack d'extension de GPU ne soit activé.
Processus d'installation
- Installation physique
-
Toutes les tâches d'installation sont effectuées par Oracle. Lorsque le rack d'extension de GPU se trouve dans l'espace alloué, il doit être connecté au rack de base. Les commutateurs Leaf du rack d'extension sont interconnectés aux commutateurs Spine du rack de base pour étendre le réseau de données dans le rack d'extension. De même, les composants du rack d'extension sont ajoutés au réseau de gestion interne via une connexion de câble entre les commutateurs de gestion des deux racks. Les ports requis pour cette configuration ont été réservés sur tous les commutateurs connectés. Les noeuds GPU sont connectés en interne aux commutateurs du rack d'extension en usine.
- Activation du rack
-
Lorsque les connexions physiques sont en place, le rack d'extension est activé en exécutant un script à partir de l'un des noeuds de gestion. Le script met les commutateurs sous tension et active les ports requis afin que les nouveaux composants matériels puissent être détectés et enregistrés. Lorsque le script est terminé, les réseaux de données et de gestion sont opérationnels sur les racks interconnectés. Le système procède à l'installation et à la configuration du système d'exploitation et des logiciels supplémentaires sur les nouveaux noeuds, en les préparant au provisionnement. Une fois les noeuds GPU provisionnés, ils sont entièrement intégrés et prêts à l'emploi.
Les noeuds GPU sont ajoutés aux domaines de pannes existants aux côtés d'autres noeuds de calcul, mais les familles de serveurs fonctionnent séparément les unes des autres et les migrations entre eux ne sont pas prises en charge. Les domaines de pannes peuvent devenir déséquilibrés car, contrairement aux noeuds de calcul standard, les noeuds GPU peuvent être ajoutés un par un.