Πλήρεις προδιαγραφές:

Κατασκευή και σχεδιασμός Dell PowerEdge XE9680

Το PowerEdge XE9680 είναι ένα επιβλητικό κομμάτι υλικού, μεγέθους 10,36 ίντσες (263,20 mm) σε ύψος, 18,97 ίντσες (482,00 mm) σε πλάτος και 39,71 ίντσες (1008,77 mm) σε βάθος με το περβάζι του.Όταν είναι πλήρως φορτωμένοΗ επιλογή της GPU θα έχει την τελική απόφαση για το βάρος, με το μοντέλο NVIDIA H100 / H200 να φτάνει τα 238 λίβρες, ενώ η μονάδα AMD MI300X θα έχει 251 λίβρες.

Αυτός ήταν ο πρώτος διακομιστής που απαιτούσε προσεκτική σκέψη για να φορτωθεί σωστά στο περιβάλλον δοκιμών μας.Υπάρχει αρκετό περιθώριο για να βγούμε έξω από τα όρια.Η Dell είναι αρκετά ευγενική για να σας δώσει ένα τραπέζι ανύψωσης για να σας βοηθήσει να καταλάβετε πώς ταιριάζει αυτή η πλατφόρμα.Ο Κέβιν φόρτωσε ο ίδιος το XE9680 στο ράφι..

Παρά την πολυπλοκότητά του και την σύσταση της Dell για εξειδικευμένους τεχνικούς εξυπηρέτησης, το XE9680 διαθέτει αξιοσημείωτα φιλικά προς το χρήστη στοιχεία εξυπηρέτησης.Τα πάνελ των διακομιστών περιλαμβάνουν λεπτομερείς οδηγίες συντήρησης και σαφή γραφικάΟι οπτικές οδηγίες αυτές αποδείχθηκαν ανεκτίμητες κατά τη διάρκεια του πρακτικού μας χρόνου με το σύστημα,που μας επιτρέπει να εξυπηρετούμε διάφορα εξαρτήματα με αυτοπεποίθηση.

Αφού ανοίξετε το κάλυμμα του PowerEdge XE9680, μόλις περάσετε τα πολλά καλώδια από τον μικρό υποσταθμό ενέργειας, μοιάζει πολύ με ένα PowerEdge R760.Η μονάδα μας τροφοδοτείται από δύο επεξεργαστές Intel Xeon Platinum 8468Κάθε επεξεργαστής προσφέρει 80 λωρίδες PCIe, οι οποίες διέρχονται από αρκετούς PCIe διακόπτες σε αυτή τη μονάδα για να υποστηρίξουν τις GPU, NIC και άλλο υλικό που φορτώνεται στο XE9680.

Ένα από τα πιο εντυπωσιακά τεχνικά χαρακτηριστικά είναι ο σχεδιασμός της πλακέτας PCIe Switch Board (PSB).κάρτες PCIe μισού μήκους (εκ των οποίων δύο μπορούν να υπερβαίνουν την κατανάλωση 75W) και ενσωματώνονται απευθείας στην βάση GPUΑυτή η άμεση ενσωμάτωση επιτρέπει την τεχνολογία GPU-direct, επιτρέποντας στα SSD και τις κάρτες δικτύου να επικοινωνούν απευθείας με τις GPU, παρακάμπτοντας την CPU και μειώνοντας την καθυστέρηση για φορτία εργασίας AI έντασης I / O.

Κάθε θέση επέκτασης υποστηρίζει μια πλήρη διεπαφή PCIe Gen5 x16, συμπεριλαμβανομένων των δύο κατώτερων θέσεων στα αριστερά και δεξιά της διάταξης.οι δύο κατώτερες θέσεις συνδέονται απευθείας με την πλακέτα βάσης PCIe (PBB)Επιπλέον, θα πρέπει να σημειωθεί ότι η διάταξη PCIe ποικίλλει ελαφρώς ανάλογα με τον τύπο GPU που επιλέγεται για το PowerEdge XE9680.Τα μοντέλα που είναι εξοπλισμένα με AMD δεν υποστηρίζουν SmartNIC/DPU, και τα μοντέλα Intel Gaudi3 έχουν δύο slots μπλοκαρισμένα λόγω προβλημάτων ροής αέρα.

Η ψύξη είναι ένας άλλος τομέας στον οποίο η τεχνογνωσία της Dell είναι εξαιρετική. Το σύστημα απασχολεί έως και 16 ανεμιστήρες υψηλής απόδοσης χρυσής ποιότητας, έξι στο μέσο δίσκο και δέκα στο πίσω μέρος.Το PowerEdge XE9680 υποστηρίζει ένα ευρύ φάσμα σεναρίων εγκατάστασηςΤο server μετακινεί ένα εντυπωσιακό 1200CFM στον θερμό διάδρομο.

Αυτή η ισχυρή λύση ψύξης χειρίζεται ακόμη και τα πιο απαιτητικά θερμικά φορτία, συμπεριλαμβανομένων των GPU AMD MI300X, Intel Gaudi3 ή NVIDIA H100, διατηρώντας παράλληλα βέλτιστες θερμοκρασίες λειτουργίας.Το PowerEdge XE9680 τραγουδάει αρκετά κάτω από φορτίο από την άποψη της παραγωγής θορύβουΗ Dell προσφέρει ένα πλήρες δελτίο ακουστικών προδιαγραφών για το XE9680 σε διαφορετικές καταστάσεις, αλλά είναι αρκετά εύκολο να πούμε ότι θα είναι μια δυνατή πλατφόρμα υπό φορτίο.

Διοίκηση

Οι δυνατότητες διαχείρισης του XE9680s είναι χτισμένες γύρω από το iDRAC9 της Dell, το οποίο παρέχει ολοκληρωμένη διαχείριση και παρακολούθηση του κύκλου ζωής του διακομιστή.Αυτή η επανάληψη του iDRAC φέρνει αρκετά χαρακτηριστικά βελτιστοποιημένα από την ΤΝ, συμπεριλαμβανομένης της λεπτομερούς τηλεμετρίας GPU, της ανάλυσης της κατανάλωσης ενέργειας και της εκτεταμένης θερμικής παρακολούθησης που έχει σχεδιαστεί για φορτία εργασίας υψηλής πυκνότητας AI.

Το stack διαχείρισης της πλατφόρμας είναι ιδιαίτερα αξιοσημείωτο για τις αναπτύξεις υποδομής τεχνητής νοημοσύνης.Οι οργανισμοί μπορούν να παρακολουθούν και να διαχειρίζονται προγραμματικά τη χρήση της GPU, εύρος ζώνης μνήμης και θερμικές συνθήκες ∙ κρίσιμες μετρήσεις για τη διατήρηση της βέλτιστης εκπαίδευσης της τεχνητής νοημοσύνης και της απόδοσης συμπερασμάτων.Η ενσωμάτωση του συστήματος με το OpenManage Enterprise επιτρέπει τη διαχείριση σε ολόκληρο τον στόλο πολλαπλών XE9680 μέσω μιας ενοποιημένης κονσόλας, η οποία είναι απαραίτητη για μεγάλες ομάδες τεχνητής νοημοσύνης.

Η ασφάλεια και η συμμόρφωση είναι θεμελιώδη στοιχεία της αρχιτεκτονικής διαχείρισης.διασφάλιση της ακεραιότητας του υλικού από την εκκίνηση μέχρι τη λειτουργίαΤα χαρακτηριστικά αυτά είναι ιδιαίτερα πολύτιμα κατά την εκτέλεση ευαίσθητων φορτίων εργασίας τεχνητής νοημοσύνης ή τη διαχείριση ιδιόκτητων βαρών μοντέλων.

Η δυνατότητα πρόβλεψης ανάλυσης αποτυχιών, που υποστηρίζεται από την ολοκλήρωση CloudIQ, χρησιμοποιεί μηχανική μάθηση για την πρόβλεψη πιθανών προβλημάτων υλικού πριν επηρεάσουν τα φορτία εργασίας.Αυτή η προληπτική προσέγγιση είναι ιδιαίτερα κρίσιμη για τις μακροχρόνιες θέσεις εργασίας κατάρτισης τεχνητής νοημοσύνηςΌταν συνδυάζεται με την υπηρεσία ProSupport Plus της Dell, αυτή η προγνωστική ικανότητα ενεργοποιεί την αυτόματη δημιουργία υποθέσεων και την αποστολή εξαρτημάτων,συχνά οδηγούν σε προληπτική συντήρηση πριν από την υποβάθμιση του συστήματος.

Για οργανισμούς που απαιτούν ολοκλήρωση με υπάρχοντα εργαλεία διαχείρισης, το XE9680 υποστηρίζει διάφορα πλαίσια διαχείρισης μέσω ολοκλήρωσης OpenManage, συμπεριλαμβανομένων των ServiceNow και BMC TrueSight,Επιτρέπουν την απρόσκοπτη ενσωμάτωση σε καθιερωμένες ροές εργασίας διαχείρισης υπηρεσιών πληροφορικής.

Η διεπαφή iDRAC9 παρέχει λεπτομερή παρακολούθηση σε πραγματικό χρόνο των κρίσιμων εξαρτημάτων μέσω ενός διαισθητικού πίνακα ελέγχου.κατανάλωση ενέργειας, και τα ποσοστά χρησιμοποίησης σε όλους τους οκτώ επιταχυντές, απαραίτητα για τη βελτιστοποίηση της κατανομής του φόρτου εργασίας της τεχνητής νοημοσύνης.

Η διεπαφή παρακολούθησης αποθήκευσης προσφέρει άμεση ορατότητα στην κατάσταση του δίσκου, τη θερμοκρασία και τις μετρήσεις απόδοσης σε όλη τη σειρά NVMe,η οποία είναι ιδιαίτερα χρήσιμη κατά τη διαχείριση αποθηκευτικών αποθεμάτων συμπερασμάτων υψηλής απόδοσης και συνόλων δεδομένων κατάρτισης.

Μνήμη, Αποθήκευση και Κλίμακα

Οι οκτώ GPUs AMD MI300X μέσα στο Dell PowerEdge XE9680 αντιπροσωπεύουν ένα σημαντικό άλμα στην χωρητικότητα μνήμης GPU, προσφέροντας 192GB μνήμης HBM3 ανά κάρτα σε σύγκριση με τα 141GB της NVIDIA H200.Αυτή η αύξηση της χωρητικότητας μνήμης κατά 36% δεν είναι μόνο ένας αριθμός σε ένα φύλλο προδιαγραφών, είναι κρίσιμη για την ανάπτυξη μεγάλων μοντέλων γλωσσών..

Αυτή η τεράστια δεξαμενή μνήμης, σε συνδυασμό με το MI300X's 5,3 TB/s εύρος ζώνης μνήμης,Επιτρέπει στους οργανισμούς να εκτελούν πολλαπλά παραδείγματα μικρότερων μοντέλων ή να διαχωρίζουν μεγαλύτερα μοντέλα σε GPU διατηρώντας την υψηλή απόδοση και χαμηλή καθυστέρηση.

Για να το θέσουμε σε προοπτική, το μοντέλο Llama 3.1 405B του Meta, το οποίο απαιτεί βόρεια από 1TB VRAM στο BF16,μπορεί να διανεμηθεί άνετα σε ένα μόνο XE9680 με GPU MI300X χωρίς κβαντοποίηση και πλήρες μήκος περιεχομένου 128kΑυτό εξαλείφει την πιθανή απώλεια ποιότητας που σχετίζεται με τις τεχνικές κβαντοποίησης και επιτρέπει περισσότερα Tokens/Second σε σύγκριση με το να έχει το μοντέλο κατανεμηθεί σε δύο διακομιστές.

Για να μεγιστοποιήσουμε το αποθηκευτικό μας αποτύπωμα, χρησιμοποιήσαμε τους δίσκους Solidigm 61.44TB για να λειτουργήσουν ως μια εξελιγμένη επέκταση της μνήμης, γεφυρώνοντας το χάσμα μεταξύ της μνήμης GPU υψηλής ταχύτητας και της παραδοσιακής αποθήκευσης.Τα SSD ξεχωρίζουν στην αποθήκευση ζευγών cache κλειδί-αξίας κατά τη διάρκεια της συμπεράσεωςΗ τεράστια χωρητικότητα και η απόδοση NVMe τους καθιστούν ιδανικούς για γρήγορη πρόσβαση σε βάρος μοντέλου.επιτρέπει την αποτελεσματική αλλαγή μοντέλου και θερμή εκκίνηση.

Σε εφαρμογές όπως η ανάπτυξη Metrum AI που αναλύουμε παρακάτω, τα SSD έχουν διπλή λειτουργία ως backend αποθήκευσης για βάσεις δεδομένων διανυσματικών,Παροχή των απαιτούμενων επιδόσεων για αναζητήσεις ομοιότητας σε πραγματικό χρόνο, διατηρώντας παράλληλα την ικανότητα εκτεταμένης ενσωματωμένης αποθήκευσης.

Η αξία αυτών των μονάδων υψηλής χωρητικότητας επεκτείνεται πέρα από το συμπέρασμα στις ροές εργασίας κατάρτισης.μείωση των γενικών δαπανών δικτύου διατηρώντας τα δεδομένα πιο κοντά στους πόρους υπολογισμούΚατά τη διάρκεια της εκπαίδευσης, οι εν λόγω μονάδες εξειδικεύονται στην αποθήκευση σημείων ελέγχου μοντέλων τοπικά, γεγονός που είναι κρίσιμο για τη διατήρηση της προόδου της εκπαίδευσης και τη δυνατότητα ταχείας αποκατάστασης.Αυτή η τοπική στρατηγική αποθήκευσης βοηθά επίσης να βελτιστοποιηθεί η χρήση του δικτύου μειώνοντας την άμεση κυκλοφορία δικτύου μετά από κάθε επεξεργασμένο στρώμα και παρτίδα.

Ενώ η χωρητικότητα 61,44TB σε οκτώ χώρους στο XE9680 ακούγεται ελπιδοφόρα, υπάρχει πολύ περισσότερη χωρητικότητα που έρχεται.Η πυκνότητα αποθήκευσης στο XE μπορεί να διπλασιαστεί σε σχεδόν ένα πεταμπάιτ για περαιτέρω βελτιστοποιήσεις εκπαίδευσης και μακροχρόνια αποθήκευση συμπερασμάτων..

Υγειονομική Βοηθός Μετρούμ AI Επαναστατική φροντίδα ασθενών

Ο τομέας της υγειονομικής περίθαλψης αντιμετωπίζει συνεχώς μια πρόκληση στη διαχείριση της χρονοβόρου τεκμηρίωσης και διαχείρισης αρχείων ασθενών, η οποία συχνά μειώνει την άμεση φροντίδα των ασθενών.Υγειονομικός βοηθός του Metrum AIΤο πρόγραμμα, το οποίο έχει αναπτυχθεί σε διακομιστές Dell PowerEdge XE9680 με επιταχυντές AMD, αποτελεί παράδειγμα του τρόπου με τον οποίο η προηγμένη υποδομή τεχνητής νοημοσύνης μπορεί να μεταμορφώσει τις ροές εργασίας της υγειονομικής περίθαλψης, βελτιώνοντας την αποτελεσματικότητα και τα αποτελέσματα των ασθενών.

Το σύστημα χρησιμοποιεί το Llama 3.1 70B Instruct ως πρωταρχικό μοντέλο γλώσσας, γνωστό για την κατανόηση των ιατρικών πλαισίων.Αυτό το μοντέλο γλώσσας είναι συνδυασμένο με το gte-v1.5 ενσωματωμένο μοντέλο και Milvus Vector DB, παρέχοντας μια ισχυρή βάση για την επεξεργασία της φυσικής γλώσσας και την κατανόηση του πλαισίου που είναι απαραίτητη για την επεξεργασία ιατρικών δεδομένων.

Ο βοηθός υγειονομικής περίθαλψης του Metrum AI περιλαμβάνει επίσης μια πολυμερή προσέγγιση που ενσωματώνει το HistoGPT για την ανάλυση εικόνων ιστοπαθολογίας και το Whisper του OpenAI για την μεταγραφή σε πραγματικό χρόνο των σημειώσεων των γιατρών.Μαζί., αυτά τα μοντέλα εξορθολογίζουν τις κλινικές ροές εργασίας, επιτρέποντας στους γιατρούς να μιλούν φυσικά ενώ το σύστημα μεταγράφει, κατηγοριοποιεί και ενσωματώνει πληροφορίες στα αρχεία ασθενών σε πραγματικό χρόνο.

Η Metrum AI αναγνωρίζει ότι παρόλο που τα δεδομένα των μεμονωμένων ασθενών μπορεί να είναι σχετικά μικρά, οι συνδυασμένες απαιτήσεις αποθήκευσης των νοσοκομείων υψηλής κυκλοφορίας μπορούν να αυξηθούν σε εκατοντάδες terabytes.Το Dell PowerEdge XE9680 μπορεί να το αντιμετωπίσει με την τοπική ενσωματωμένη αποθήκευση NVMeΗ διαμόρφωσή μας προσφέρει οκτώ 2.5 ′′ U.2 NVMe αποθηκευτικές αποθήκες που λειτουργούν με ταχύτητες PCIe Gen4. Ενώ δοκιμάσαμε το XE9680 με SSD Soldigim D5-P5336 QLC 61.44TB, αυτή η χωρητικότητα μπορεί να κλιμακωθεί ακόμη περισσότερο.Η Soldigim πρόσφατα κυκλοφόρησε το νέο τους D5-P5336 122.88TB QLC μοντέλα, το οποίο διπλασιάζει την χωρητικότητα των ήδη τεράστιων SSD διατηρώντας την ίδια απόδοση.

Η Metrum έδωσε εκτιμήσεις για το πώς μεταφράζονται τα δεδομένα ασθενών με την πάροδο του χρόνου σε διαφορετικά σενάρια.Μπορείτε να δείτε πόσους επιπλέον ασθενείς μια μονάδα θα μπορούσε να υποστηρίξει χρησιμοποιώντας τα SSD υψηλότερης χωρητικότηταςΛαμβάνοντας το εκτιμώμενο αποτύπωμα δεδομένων ανά ασθενή και αντιβαίνοντας με τη χρησιμοποιήσιμη χωρητικότητα για κάθε SSD (57TB για το SSD 61TB και 114TB για το SSD 122TB),Μπορούμε να δούμε ότι έχοντας πυκνά SSD αυξάνει σημαντικά τι μπορείτε να αποθηκεύσετε στον διακομιστή με ουσιαστικό τρόπο ανά έτος.

Ενώ οι αρχικές εκτιμήσεις ενός έτους φαίνονται αρκετά υψηλές, είναι σημαντικό να σημειωθεί ότι τα δεδομένα των ασθενών δεν είναι στατικά.Εδώ είναι που η αποθήκευση παίζει σημαντικό ρόλο στον χώρο ιατρικής απεικόνισηςΗ πρόσθετη χωρητικότητα αποθήκευσης επηρεάζει άμεσα τον αριθμό των ασθενών που μια λύση μπορεί να υποστηρίξει αποτελεσματικά.

Το Dell PowerEdge XE9680, εξοπλισμένο με επιταχυντές AMD MI300X και ενσωματωμένο με τον βοηθό υγειονομικής περίθαλψης του Metrum AI, παρέχει μια επεκτατική και αποτελεσματική λύση για τους παρόχους υγειονομικής περίθαλψης.Με την αυτοματοποίηση χρονοβόρων εργασιών και την ταχεία πρόσβαση σε κρίσιμες γνώσεις, αυτή η ρύθμιση επιτρέπει στους κλινικούς να επικεντρωθούν περισσότερο στη φροντίδα των ασθενών, ενώ διαχειρίζονται τις αυξανόμενες απαιτήσεις.ο βοηθός υγειονομικής περίθαλψης αντιπροσωπεύει σημαντική πρόοδο στις λύσεις υγειονομικής περίθαλψης που βασίζονται στην τεχνητή νοημοσύνη, μειώνοντας τον διοικητικό φόρτο και βελτιώνοντας τα συνολικά αποτελέσματα για τους ασθενείς.

Συμπεράσματα