«Προσαρμοσμένος» διακομιστής Dell PowerEdge R760

Όπως λέει και η παροιμία, η τρίτη φορά είναι γοητεία. Αυτό δεν είναι το πρώτο μας ροντέο με σπάσιμο ρεκόρ με τον Pi. πήραμε μαθήματα από τις δύο πρώτες επαναλήψεις μας για να δημιουργήσουμε την καλύτερη πλατφόρμα Pi. Η πρώτη μας έκδοση αξιοποίησε έναν διακομιστή 2U με 16 θέσεις NVMe και τρία εσωτερικά έλκηθρα SSD. Με 30,72 TB Solidigm P5316 SSD, περιείχαμε τον χώρο αποθήκευσης swap για το y-cruncher, αλλά έπρεπε να αξιοποιήσουμε έναν διακομιστή αποθήκευσης που βασίζεται σε HDD για το αρχείο εξόδου. Ήταν λιγότερο από το βέλτιστο, ειδικά κατά το τέλος της φάσης διαγραφής. Η 2η πλατφόρμα μας χρησιμοποιούσε τον ίδιο διακομιστή, με συνδεδεμένο εξωτερικό NVMe JBOF, το οποίο μας έδωσε πρόσθετο χώρο NVMe — αλλά με κόστος ευαίσθητης καλωδίωσης και μη ισορροπημένης απόδοσης. Το μειονέκτημα και στις δύο πλατφόρμες ήταν η ανάγκη να βασίζονται σε εξωτερικό υλικό καθ' όλη τη διάρκεια της λειτουργίας του y-cruncher με κόστος πρόσθετης ισχύος και επιπλέον σημεία αστοχίας.

Για αυτήν την εκτέλεση, θέλαμε να αξιοποιήσουμε έναν μόνο διακομιστή all-direct-NVMe και να έχουμε αρκετό χώρο για την αποθήκευση y-cruncher swap και αποθήκευση εξόδου κάτω από μια στέγη από λαμαρίνα. Εισαγάγετε τον Dell PowerEdge R760 με το backplane NVMe Direct Drives 24 θέσεων. Αυτή η πλατφόρμα αξιοποιεί έναν εσωτερικό διακόπτη PCIe για να κάνει όλες τις μονάδες NVMe να μιλούν στον διακομιστή ταυτόχρονα, παρακάμπτοντας οποιαδήποτε ανάγκη για πρόσθετο υλικό ή συσκευές RAID. Στη συνέχεια, συνδυάσαμε μια διαμόρφωση PCIe ανύψωσης από πολλαπλά R760 στο εργαστηριακό μας περιβάλλον, δίνοντάς μας τέσσερις υποδοχές PCIe στο πίσω μέρος για πρόσθετους NVMe SSD που είναι τοποθετημένοι σε U.2. Ένα μπόνους ήταν να αφαιρέσουμε μεγαλύτερες ψύκτρες από ένα άλλο R760, δίνοντάς μας όσο το δυνατόν περισσότερο χώρο κεφαλής turbo-boost. Το Direct Liquid Cooling ήρθε στο εργαστήριό μας ένα μήνα πολύ αργά για να εφαρμοστεί σε αυτήν την εκτέλεση.

«Ο υπολογισμός της ομάδας StorageReview Lab του pi σε πάνω από 202 τρισεκατομμύρια ψηφία, που επιτεύχθηκε χρησιμοποιώντας 5^ουΟ επεξεργαστής Gen Intel Xeon, υπογραμμίζει τη δύναμη και την αποτελεσματικότητα αυτών των CPU. Αξιοποιώντας τον αυξημένο αριθμό πυρήνων και τις προηγμένες δυνατότητες απόδοσης του 5^ουΟ επεξεργαστής Gen Xeon, αυτό το ορόσημο θέτει ένα νέο σημείο αναφοράς στα υπολογιστικά μαθηματικά και συνεχίζει να ανοίγει το δρόμο για καινοτομίες σε διάφορους επιστημονικούς και μηχανικούς φόρτους εργασίας.είπεSuzi Jewett, γενική διευθύντρια Intel για 5^ουΠροϊόντα επεξεργαστών Gen Intel Xeon

Ενώ τεχνικά θα μπορούσατε να παραγγείλετε μια διαμόρφωση της Dell ακριβώς όπως αυτή που χρησιμοποιήθηκε σε αυτήν την εκτέλεση, δεν ήταν κάτι που είχαν και έπρεπε να συναρμολογηθούν. (Ίσως ο Michael θα τρέξει μια παρτίδα περιορισμένης έκδοσης "Pi" R760 με αυτήν ακριβώς τη διαμόρφωση, προσαρμοσμένη βαφή και το λογότυπο SR.)

Το μέγεθος του τροφοδοτικού ήταν επίσης κρίσιμο για αυτήν την εκτέλεση. Ενώ οι περισσότεροι θα πίστευαν αμέσως ότι οι CPU αντλούν το μεγαλύτερο μέρος της ενέργειας, η ύπαρξη 28 SSD NVMe κάτω από την ίδια στέγη έχει σημαντικό αντίκτυπο στην ισχύ. Η κατασκευή μας αξιοποίησε τα τροφοδοτικά 2400W, τα οποία, όπως αποδείχθηκε, ελάχιστα λειτουργούσαν. Είχαμε μερικές σχεδόν κρίσιμες στιγμές τροφοδοσίας, όπου θα είχαμε μειωμένη τροφοδοσία εάν το σύστημα είχε πέσει μία σύνδεση τροφοδοσίας. Αυτό χτύπησε νωρίς? Η κατανάλωση ενέργειας εκτοξεύτηκε στα ύψη ενώ η φόρτωση της CPU κορυφώθηκε και το σύστημα αύξησε τη δραστηριότητα I/O σε όλους τους SSD. Αν έπρεπε να το κάνουμε ξανά, θα προτιμούσαμε τα μοντέλα 2800W.

Προδιαγραφές Απόδοσης

Τεχνικά Χαρακτηριστικά

• Υπολογισμένα συνολικά ψηφία: 202.112.290.000.000
• Μεταχειρισμένο υλικό: Dell PowerEdge R760 με 2x επεξεργαστές Intel Xeon 8592+, 1TB DDR5 DRAM, 28x Solidigm 61,44TB P5336
• Λογισμικό και Αλγόριθμοι: y-cruncher v0.8.3.9532-d2, Chudnovsky
• Αποθήκευση δεδομένων: 3,76 PB γραμμένο ανά μονάδα δίσκου, 82,7 PB στους 22 δίσκους για συστοιχία swap
• Υπολογισμός Διάρκεια: 100.673 Ημέρες

y-cruncher Telemetry

• Λογικό μεγαλύτερο σημείο ελέγχου: 305.175.690.291.376 (278 TiB)
• Λογική Μέγιστη Χρήση Δίσκου: 1.053.227.481.637.440 (958 TiB)
• Αναγνωσμένα Byte Λογικού Δίσκου: 102,614,191,450,271,272 (91,1 PiB)
• Λογικά Byte Δίσκου Γραπτά: 88,784,496,475,376,328 (78,9 PiB)
• Ημερομηνία έναρξης: Τρίτη 6 Φεβρουαρίου 16:09:07 2024
• Ημερομηνία λήξης: Δευτέρα 20 Μαΐου 05:43:16 2024
• Pi: 7.272.017.696 δευτερόλεπτα, 84.167 ημέρες
• Συνολικός χρόνος υπολογισμού: 8.698.188.428 δευτερόλεπτα, 100.673 ημέρες
• Χρόνος τοίχου από την αρχή έως το τέλος: 8.944.449.095 δευτερόλεπτα, 103.524 ημέρες

Το μεγαλύτερο γνωστό ψηφίο του Pi είναι το 2, στη θέση 202.112.290.000.000 (διακόσια δύο τρισεκατομμύρια, εκατόν δώδεκα δισεκατομμύρια, διακόσια ενενήντα εκατομμύρια).

Ευρύτερες επιπτώσεις

Ενώ ο υπολογισμός του pi σε έναν τόσο τεράστιο αριθμό ψηφίων μπορεί να φαίνεται ως αφηρημένη πρόκληση, οι πρακτικές εφαρμογές και τεχνικές που αναπτύχθηκαν κατά τη διάρκεια αυτού του έργου έχουν εκτεταμένες επιπτώσεις. Αυτές οι εξελίξεις μπορούν να βελτιώσουν διάφορες υπολογιστικές εργασίες, από κρυπτογραφία έως πολύπλοκες προσομοιώσεις στη φυσική και τη μηχανική.

Ο πρόσφατος υπολογισμός pi 202 τρισεκατομμυρίων ψηφίων υπογραμμίζει σημαντικές προόδους στην πυκνότητα αποθήκευσης και το συνολικό κόστος ιδιοκτησίας (TCO). Η εγκατάσταση μας πέτυχε εκπληκτικά 1.720 petabyte αποθήκευσης NVMe SSD σε ένα μόνο πλαίσιο 2U. Αυτή η πυκνότητα αντιπροσωπεύει ένα άλμα προς τα εμπρός στις δυνατότητες αποθήκευσης δεδομένων, ειδικά αν ληφθεί υπόψη η συνολική κατανάλωση ενέργειας που κορυφώθηκε σε μόλις 2,4 kW υπό πλήρες φορτίο CPU και μονάδας δίσκου.

Αυτή η ενεργειακή απόδοση έρχεται σε αντίθεση με τις παραδοσιακές εκδόσεις HPC που καταναλώνουν πολύ περισσότερη ενέργεια και παράγουν υπερβολική θερμότητα. Η κατανάλωση ενέργειας αυξάνεται εκθετικά όταν συνυπολογίζετε πρόσθετους κόμβους για συστήματα αποθήκευσης κλιμάκωσης, εάν χρειάζεται να επεκτείνετε κοινόχρηστο χώρο αποθήκευσης χαμηλής χωρητικότητας σε σύγκριση με τοπική αποθήκευση υψηλής πυκνότητας. Η διαχείριση θερμότητας είναι ζωτικής σημασίας, ειδικά για μικρότερα κέντρα δεδομένων και ντουλάπες διακομιστών. Η ψύξη των παραδοσιακών συστημάτων εγγραφής HPC δεν είναι μικρό κατόρθωμα, καθώς απαιτεί ψύκτες κέντρων δεδομένων που μπορούν να αντλήσουν περισσότερη ισχύ από τον εξοπλισμό που λειτουργεί μόνος του. Ελαχιστοποιώντας την κατανάλωση ενέργειας και την παραγωγή θερμότητας, η εγκατάσταση μας προσφέρει μια πιο βιώσιμη και διαχειρίσιμη λύση για μικρές επιχειρήσεις. Ως μπόνους, το μεγαλύτερο μέρος της διαδρομής μας έγινε με ψύξη καθαρού αέρα.

Για να το θέσουμε σε προοπτική, φανταστείτε τις προκλήσεις που αντιμετωπίζουν όσοι εκτελούν δικτυακό κοινόχρηστο χώρο αποθήκευσης και μη βελτιστοποιημένες πλατφόρμες. Αυτές οι ρυθμίσεις θα απαιτούσαν ένα ή περισσότερα ψυκτικά συγκροτήματα κέντρου δεδομένων για τη διατήρηση των θερμοκρασιών υπό έλεγχο. Σε αυτά τα περιβάλλοντα, κάθε watt που εξοικονομείται μεταφράζεται σε λιγότερη απαιτούμενη ψύξη και χαμηλότερο λειτουργικό κόστος, καθιστώντας την προσέγγισή μας υψηλής πυκνότητας και χαμηλής ισχύος ιδανική επιλογή. Ένα άλλο σημαντικό πλεονέκτημα για τη λειτουργία μιας άπαχης και αποτελεσματικής πλατφόρμας για ρεκόρ εκτέλεσης είναι η προστασία ολόκληρης της εγκατάστασης με εφεδρικό υλικό μπαταρίας. Όπως αναφέρθηκε προηγουμένως, θα χρειαστείτε εφεδρικά αντίγραφα μπαταρίας για υπολογιστές διακομιστές, μεταγωγείς, διακομιστές αποθήκευσης, ψυκτικά συγκροτήματα και αντλίες νερού για να το κρατήσετε ζωντανό για ένα καλό κομμάτι του έτους.

Συνολικά, αυτό το επίτευγμα που σπάει ρεκόρ δείχνει τις δυνατότητες των σημερινών τεχνολογιών HPC και υπογραμμίζει τη σημασία της ενεργειακής απόδοσης και της θερμικής διαχείρισης σε σύγχρονα υπολογιστικά περιβάλλοντα.

Εξασφάλιση Ακρίβειας: Η Φόρμουλα Bailey–Borwein–Plouffe

Ο υπολογισμός του pi σε 202 τρισεκατομμύρια ψηφία είναι μια μνημειώδης εργασία, αλλά η διασφάλιση της ακρίβειας αυτών των ψηφίων είναι εξίσου κρίσιμη. Εδώ μπαίνει στο παιχνίδι η φόρμουλα Bailey–Borwein–Plouffe (BBP).

Ο τύπος BBP μας επιτρέπει να επαληθεύουμε τα δυαδικά ψηφία του pi σε δεκαεξαδική μορφή (βάση 16) χωρίς να χρειάζεται να υπολογίσουμε όλα τα προηγούμενα ψηφία. Αυτό είναι ιδιαίτερα χρήσιμο για τη διασταύρωση τμημάτων του τεράστιου υπολογισμού μας.

Ακολουθεί μια απλοποιημένη εξήγηση:

1. Δεκαεξαδική Έξοδος: Δημιουργούμε πρώτα τα ψηφία του pi σε δεκαεξαδικό κατά τον κύριο υπολογισμό. Ο τύπος BBP μπορεί να υπολογίσει απευθείας οποιοδήποτε αυθαίρετο μεμονωμένο ψηφίο του pi στη βάση 16. Μπορείτε να το κάνετε αυτό με άλλα προγράμματα όπως το GPUPI, αλλά το y-cruncher έχει επίσης μια ενσωματωμένη λειτουργία. Εάν προτιμάτε μια προσέγγιση ανοιχτού κώδικα, οι τύποι είναι γνωστοί.
2. Διασταυρούμενη επαλήθευση: Μπορούμε να συγκρίνουμε αυτά τα αποτελέσματα με τον κύριο υπολογισμό μας, υπολογίζοντας συγκεκριμένες θέσεις των δεκαεξαδικών ψηφίων του pi ανεξάρτητα με τον τύπο BBP. Εάν ταιριάζουν, υποδηλώνει έντονα ότι ολόκληρη η ακολουθία μας είναι σωστή. Κάναμε αυτόν τον διασταυρωτικό έλεγχο έξι φορές. εδώ είναι δύο από αυτά.

Για παράδειγμα, εάν ο κύριος υπολογισμός μας παράγει τα ίδια δεκαεξαδικά ψηφία με αυτά που λαμβάνονται από τον τύπο BBP σε διάφορα σημεία, μπορούμε να επιβεβαιώσουμε με σιγουριά την ακρίβεια των ψηφίων μας. Αυτή η μέθοδος δεν είναι μόνο θεωρητική. έχει εφαρμοστεί πρακτικά σε όλους τους σημαντικούς υπολογισμούς pi, διασφαλίζοντας στιβαρότητα και αξιοπιστία στα αποτελέσματα.

R= Επίσημο αποτέλεσμα εκτέλεσης, V= Αποτέλεσμα επαλήθευσης

• R: f3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 37088*
• V: *3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 370888

Οι επιτήδειοι αναγνώστες θα σημειώσουν ότι οι επαληθεύσεις από τα στιγμιότυπα οθόνης και την παραπάνω σύγκριση είναι λίγο μετατοπισμένες (*). Αν και δεν είναι απαραίτητο, δεδομένου ότι το εξάγωνο θα επηρεαζόταν στο τέλος, ελέγξαμε επίσης μερικές άλλες τοποθεσίες (όπως 100 τρισεκατομμύρια και 105 τρισεκατομμύρια ψηφία) για να διασφαλίσουμε ότι η εκτέλεση ταιριάζει. Αν και είναι θεωρητικά δυνατός ο υπολογισμός οποιουδήποτε δεκαδικού ψηφίου του pi χρησιμοποιώντας μια παρόμοια μέθοδο, δεν είναι σαφές εάν αυτό θα είχε ακρίβεια πέραν των 100 εκατομμυρίων ψηφίων ή θα ήταν ακόμη και υπολογιστικά αποδοτικό για να το κάνει, αντί να κάνει τα μαθηματικά του Chudnovsky και να τα πάρει όλα. (Αν ο Eric Weisstein το δει αυτό, απευθυνθείτε· θα ήθελα να το μαχαιρώσω.)

Με την ενσωμάτωση αυτής της διαδικασίας μαθηματικού διασταυρούμενου ελέγχου, μπορούμε να διασφαλίσουμε την ακεραιότητα του ρεκόρ υπολογισμού μας των 202 τρισεκατομμυρίων ψηφίων pi, αποδεικνύοντας την υπολογιστική μας ακρίβεια και τη δέσμευσή μας στην επιστημονική ακρίβεια.

Ο δρόμος μπροστά