Η CoreWeave έχει αναπτύξει ένα σύμπλεγμα NVIDIA Vera Rubin NVL72 πολλαπλών ραφιών στο CoreWeave Cloud, διασυνδέοντας εκατοντάδες GPU Rubin σε ένα ενοποιημένο περιβάλλον κλιμάκωσης βελτιστοποιημένο για φόρτους εργασίας AI που βασίζονται σε πράκτορες. Κάθε ράφι κατασκευασμένο από την Dell περιέχει 72 GPU Rubin και 36 CPU Vera, υιοθετώντας το NVLink 6 ως το δίκτυο διασύνδεσης κλιμάκωσης, σε συνδυασμό με δύο SuperNIC ConnectX-9 ανά GPU. Τα ράφια συνδέονται μέσω NVIDIA Spectrum-X Ethernet εντός ενός μη μπλοκάροντος δικτύου δύο επιπέδων, το οποίο η CoreWeave δηλώνει ότι μπορεί να κλιμακωθεί σε περίπου 128.000 GPU. Η CoreWeave είναι ο πρώτος πάροχος cloud που επικύρωσε και ενεργοποίησε επιτυχώς ένα σύστημα Vera Rubin NVL72, και ο πρώτος που δημοσίευσε τις μετρημένες επιδόσεις του. Τα αρχικά αποτελέσματα συγκριτικής αξιολόγησης που υποβλήθηκαν σε κριτική από ομοτίμους κυκλοφόρησαν την περασμένη εβδομάδα, βασισμένα σε μια υποβολή GB300 NVL72. Παράλληλα με την αναβάθμιση των υπολογιστικών πόρων, το CoreWeave AI Object Storage προσθέτει επιτάχυνση εγγραφής μεταξύ περιοχών και μια ολοκαίνουργια βαθμίδα Αρχειοθέτησης.

Αρχιτεκτονική NVIDIA Vera Rubin NVL72 Πολλαπλών Ραφιών

Αυτή η ανάπτυξη πολλαπλών ραφιών στοχεύει σε ροές εργασίας εκτέλεσης που βασίζονται σε πράκτορες, όπου οι επαναλαμβανόμενοι βρόχοι συλλογισμού και οι κλήσεις εξωτερικών εργαλείων ενισχύουν την καθυστέρηση πρόσβασης στα δεδομένα σε κατανεμημένες υποδομές. Οι διπλές SuperNIC ConnectX-9 που είναι τοποθετημένες σε κάθε GPU Rubin παρέχουν έως και 1,6 Tb/s εύρους ζώνης δικτύου backend ανά GPU μέσω συνδέσεων πολλαπλών γραμμών, πολλαπλών επιπέδων. Το δίκτυο χρησιμοποιεί αρθρωτό σχεδιασμό, επιτρέποντας σε νέα ράφια NVL72 να ενταχθούν στην ίδια μη μπλοκάροντα τοπολογία καθώς αυξάνεται η χωρητικότητα. Τα ράφια λειτουργούν με υδρόψυξη 45°C.

Η CoreWeave ενοποιεί αυτά τα ράφια χρησιμοποιώντας τη σουίτα λογισμικού Mission Control. Ένας Ελεγκτής Κύκλου Ζωής Ραφιού διαχειρίζεται την παροχή και τη διαχείριση του κύκλου ζωής του ραφιού, συμπεριλαμβανομένης της ανίχνευσης υλικού μέσω αναβοσβήματος υλικολογισμικού, επικύρωσης, παρακολούθησης ισχύος και θερμικής παρακολούθησης. Η μονάδα διαχείρισης ραφιών Racky ελέγχει την ισχύ και την υποδομή, ενώ ο προγραμματιζόμενος ελεγκτής ψύξης Valvey παρέχει ορατότητα και διαχείριση καθορισμένη από λογισμικό για κυκλώματα υδρόψυξης και αισθητήρες περιβάλλοντος.

Τα ράφια εισέρχονται σε παραγωγή μόνο μετά από δοκιμές επικύρωσης σε φάσεις. Σε επίπεδο κόμβου, αυτό περιλαμβάνει ώρες επαναλαμβανόμενων διαγνωστικών GPU, επαλήθευση μεταφοράς CPU-GPU, δοκιμές διασύνδεσης και θερμικού φορτίου, καθώς και ρεαλιστικούς φόρτους εργασίας εκπαίδευσης. Σε επίπεδο ραφιού, συγχρονισμένες εργασίες σε όλες τις 72 GPU επικυρώνουν την απόδοση GPU-προς-GPU του NVLink. Οποιοδήποτε υλικό που πέφτει κάτω από τα όρια απόδοσης πηγαίνει για αντιμετώπιση προβλημάτων. Για επικύρωση μεταξύ ραφιών, η CoreWeave εκτελεί κατανεμημένους φόρτους εργασίας, απενεργοποιώντας σκόπιμα το NVLink για να αναγκάσει την κίνηση μέσω του δικτύου backend και παρακολουθεί το φυσικό δίκτυο για ασταθείς συνδέσεις, αυξανόμενα ποσοστά σφαλμάτων, υπερθέρμανση εξαρτημάτων και ανισόρροπη κίνηση. Οι φόρτοι δοκιμών μιμούνται εφαρμογές που βασίζονται σε πράκτορες, παρουσιάζοντας ξαφνικές αυξήσεις ζήτησης, μεταβλητή ταυτόχρονη εκτέλεση και μοτίβα επικοινωνίας με εκρήξεις.

Ενημερώσεις AI Object Storage: Εγγραφές μεταξύ Περιοχών και Βαθμίδα Αρχειοθέτησης

Η βελτίωση αποθήκευσης βασίζεται στον Επιταχυντή Μεταφοράς Τοπικών Αντικειμένων (LOTA), έναν διαμεσολαβητή κρυφής μνήμης που αναπτύσσεται σε κάθε κόμβο GPU και CPU εντός της Υπηρεσίας Kubernetes της CoreWeave, αποθηκεύοντας δεδομένα αντικειμένων σε τοπικό NVMe του κόμβου. Η CoreWeave αναφέρει ότι οι αναγνώσεις από την κρυφή μνήμη διαβάζονται έως και 7 GB/s ανά GPU, με καθυστέρηση ανάγνωσης p99 πάνω από 8 φορές χαμηλότερη από την άμεση πρόσβαση σε κάδο. Ένας κορυφαίος πάροχος μοντέλων εκτελεί το LOTA σε πάνω από 15.000 GPU και 20PB κρυφής μνήμης, επιτυγχάνοντας ποσοστό επιτυχίας 99,7%, με το LOTA να προσφέρεται χωρίς επιπλέον χρέωση.

Η επιτάχυνση εγγραφής μεταξύ περιοχών επιτρέπει στις εφαρμογές να γράφουν σε έναν κάδο σε μια απομακρυσμένη περιοχή με τοπική καθυστέρηση, χωρίς τροποποίηση API ή SDK. Οι εφαρμογές στέλνουν τυπικές εγγραφές S3 στο τελικό σημείο LOTA. Τα δεδομένα αντικειμένων αποθηκεύονται μόνιμα τοπικά, ενώ τα μεταδεδομένα δεσμεύονται στην απομακρυσμένη περιοχή. Το αντικείμενο γίνεται άμεσα αναγνώσιμο, ακόμη και για την εργασία εγγραφής, και τα δεδομένα μεταφέρονται στην απομακρυσμένη περιοχή στο παρασκήνιο. Οι εφαρμογές βλέπουν έναν ενιαίο χώρο ονομάτων κάδων που εκτείνεται σε όλες τις περιοχές με συνεπείς πολιτικές IAM, κανόνες κύκλου ζωής και ελέγχους πρόσβασης, εξαλείφοντας ξεχωριστούς περιφερειακούς κάδους και αγωγούς αναπαραγωγής που απαιτούνται συνήθως για την κατανομή σημείων ελέγχου μεταξύ τοποθεσιών.

«Τα σύνολα δεδομένων μας εκτείνονται σε πολλές περιοχές και δεν μπορούμε να αντέξουμε οικονομικά να υπαγορεύεται το πρόγραμμα εκπαίδευσής μας από καθυστερήσεις ανάκτησης μεταξύ περιοχών», δήλωσε η Cécile Robert-Michon, διευθύντρια εσωτερικών υποδομών στην Cohere. «Το CoreWeave AI Object Storage μας παρέχει ένα ενοποιημένο αποτύπωμα συνόλου δεδομένων σε όλες τις περιοχές με αναγνώσεις που αποθηκεύονται στην κρυφή μνήμη τοπικά, ώστε τίποτα να μην περιμένει στο δίκτυο.»

Η βαθμίδα Αρχειοθέτησης είναι η τέταρτη κλάση αποθήκευσης μαζί με τις Hot, Warm και Cold, σχεδιασμένη για δεδομένα που γράφονται μία φορά και διαβάζονται σπάνια, όπως ιστορικά σημεία ελέγχου εκπαίδευσης και ακατέργαστα σύνολα δεδομένων. Διαθέτει χαμηλότερες βασικές τιμές χωρητικότητας και απαλλάσσει από χρεώσεις ανάκτησης, κρυφής μνήμης, ανά αίτημα, πρόωρης διαγραφής, μεταφοράς σε βαθμίδες και εξόδου. Η CoreWeave συνιστά τη διατήρηση πρόσφατων σημείων ελέγχου σε ταχύτερες βαθμίδες για γρήγορες επανεκκινήσεις, με αυτόματη μεταφορά σε Αρχειοθέτηση μετά από 60 ημέρες χωρίς αναγνώσεις. Οι εγγραφές μεταξύ περιοχών και η βαθμίδα Αρχειοθέτησης είναι πλέον γενικά διαθέσιμες.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική Εστίαση:
Διανομή Προϊόντων ICT/Ενοποίηση Συστημάτων & Υπηρεσίες/Λύσεις Υποδομών
Με πάνω από 20 χρόνια εμπειρίας στη διανομή IT, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την Τεχνολογία για την Οικοδόμηση ενός Έξυπνου Κόσμου» Ο Αξιόπιστος Πάροχος Υπηρεσιών Προϊόντων ICT!