Συνεργαστήκαμε με την CoolIT Systems για να φέρουμε την υδρόψυξη στο εργαστήριό μας. Ως μέρος αυτής της προσπάθειας, δημιουργήσαμε ένα μίνι σύστημα υδρόψυξης και ανακατασκευάσαμε ένα Dell PowerEdge R760, μετατρέποντάς το από αερόψυκτο σε υδρόψυκτο. Βρισκόμαστε μόλις στην αρχή του ταξιδιού μας στην υδρόψυξη, αλλά έχουμε ήδη κάνει σημαντικές ανακαλύψεις σχετικά με τα οφέλη που προσφέρει η άμεση υδρόψυξη (DLC).

 

Dell PowerEdge R760 Μετά τη Μετατροπή σε DLC

Η υδρόψυξη σε κάποια μορφή θα είναι απαραίτητη για την υποστήριξη σύγχρονων φόρτων εργασίας. Τα μαθηματικά δεν βγαίνουν πλέον για την αερόψυξη διακομιστών με τεράστια θερμική ισχύ σχεδιασμού (TDP) για CPU και GPU. Η DLC που παρέχεται μέσω ψυκτικών πλακών είναι η πιο κοινή λύση, κάθε κατασκευαστής διακομιστών έχει τουλάχιστον μία επιλογή. Όσον αφορά την Dell, συνεργάστηκε με την CoolIT Systems για την παροχή υδρόψυξης σε όλο το χαρτοφυλάκιο PowerEdge.

Το εργαστήριό μας, όπως τα περισσότερα κέντρα δεδομένων, δεν σχεδιάστηκε αρχικά για να εκμεταλλευτεί την υδρόψυξη. Όμως, όπως πολλά κέντρα δεδομένων, βλέπουμε ότι οι διακομιστές υψηλότερης ισχύος απαιτούν υδρόψυξη σε κάποια μορφή, και αν θέλουμε να εκμεταλλευτούμε αυτά τα συστήματα, πρέπει να προσαρμοστούμε. Αυτή είναι μια ιστορία που ακούμε πολύ στον επιχειρηματικό κόσμο αυτές τις μέρες, καθώς τα κέντρα δεδομένων επενδύουν στην Τεχνητή Νοημοσύνη και διαπιστώνουν ότι τα περισσότερα από αυτά τα συστήματα θα απαιτούν σύντομα έναν υδραυλικό βρόχο κάποιου είδους για τη λειτουργία τους.

Στην περίπτωσή μας, αποφασίσαμε να ξεκινήσουμε ανακατασκευάζοντας έναν από τους διακομιστές Dell PowerEdge R760 στο εργαστήριο. Για να είμαστε σαφείς, όταν οι πελάτες θέλουν υδρόψυκτους διακομιστές, τους παραγγέλνουν από την Dell έτσι. Η Dell χειρίζεται την ενσωμάτωση με την CoolIT και οι πελάτες λαμβάνουν έναν διακομιστή με εγκατεστημένες ψυκτικές πλάκες και σωληνώσεις για υδρόψυξη. Τα συστήματα DLC PowerEdge έχουν μερικές ιδιαιτερότητες που τα καθιστούν διαφορετικά από τους αερόψυκτους διακομιστές, παρασυρθήκαμε σε σχετικά αχαρτογράφητη περιοχή με αυτήν την εργασία. Η κάρτα iDRAC είναι διαφορετική για παράδειγμα, η έκδοση DLC έχει καλώδιο για ανίχνευση διαρροής. Είχαμε επιτυχία στη διαδικασία μετατροπής, αλλά η εγκατάσταση δικών σας ψυκτικών πλακών δεν είναι υποστηριζόμενη δραστηριότητα.

Κιτ CoolIT DLC

Η CoolIT μας προμήθευσε με ένα μίνι σύστημα που συνήθως χρησιμοποιείται για μια μικρή απόδειξη της έννοιας, καθώς οι πελάτες της περνούν από τη διαδικασία προσθήκης υδρόψυξης στα κέντρα δεδομένων τους. Παρόλα αυτά, αυτό το σύστημα μπορεί να κλιμακωθεί έως και 10kW, οπότε είναι ένας εξαιρετικός τρόπος για όσους είναι νέοι στην υδρόψυξη να αποκτήσουν κάποια εμπειρία με μισό ράφι ή κάτι τέτοιο. Υπάρχουν τρία βασικά στοιχεία αυτής της ρύθμισης: οι ψυκτικές πλάκες, η πολλαπλή ραφιού και η μονάδα διανομής ψυκτικού υγρού (CDU).

Οι ψυκτικές πλάκες έχουν σχεδιαστεί για συγκεκριμένες περιπτώσεις χρήσης TDP και ταιριάζουν απόλυτα στην CPU ή GPU που ψύχεται. Φαίνονται παραπλανητικά απλές, και παρόλο που δεν υπάρχουν αντλίες ή κινούμενα μέρη στις ίδιες τις πλάκες, η μηχανική δεν είναι αμελητέα χάρη στα αυξανόμενα TDP. Για να έχετε μια εικόνα, η CoolIT κυκλοφόρησε πρόσφατα μια νέα σειρά ψυκτικών πλακών που μπορούν να υποστηρίξουν έως και 1500W. Οι CPUs στο R760 μας είναι λίγο ταπεινές σε σύγκριση, οι CPUs Intel Xeon 8580 έχουν "μόνο" TDP 350W η καθεμία.

 

Η εγκατάσταση των ψυκτικών πλακών είναι πολύ απλή, τα μπλοκ έχουν ακόμη και θερμική πάστα προ-εφαρμοσμένη, είναι ένα πολύ απλό κιτ άμεσης τοποθέτησης. Όπως σημειώθηκε νωρίτερα, υπάρχει μια διαφορετική κάρτα iDRAC για συστήματα DLC που έχει το σημείο σύνδεσης για το καλώδιο ανίχνευσης διαρροής που προέρχεται από τις ψυκτικές πλάκες. Οι σωλήνες δρομολογούνται από το πίσω μέρος του R760, μέσω ενός διαφορετικού βραχίονα που συνοδεύει το κιτ iDRAC DLC.

Οι ψυκτικές πλάκες συνδέονται στην πολλαπλή μέσω επισημασμένων συνδέσεων ζεστού/κρύου. Η ίδια η πολλαπλή είναι κατασκευασμένη από ανοξείδωτο χάλυβα και οι συνδέσεις είναι στεγανές γρήγορες αποσυνδέσεις. Χρειάζονται λίγα δευτερόλεπτα για να συνδεθεί ο διακομιστής στην πολλαπλή, η οποία έρχεται προ-γεμισμένη. Παρεμπιπτόντως, η πολλαπλή μας τοποθετήθηκε στο πίσω μέρος του ραφιού, αλλά μπορεί να διαμορφωθεί και στο μπροστινό μέρος αν χρειαστεί. Έχουμε μια μίνι πολλαπλή για αυτήν την περίπτωση χρήσης, μια πιο παραδοσιακή πολλαπλή ραφιού DLC θα κάλυπτε ολόκληρο το ράφι. Η πολλαπλή συνδέεται απευθείας στην CDU.

Η CDU κάνει τη βαριά δουλειά σε αυτόν τον βρόχο, χρησιμοποιούμε την CoolIT AHx10. Αυτή είναι μια CDU υγρού-αέρα 5U που μπορεί να χειριστεί φορτίο 7kW σε περιβάλλον 25C. Η CoolIT προσφέρει ένα κιτ επέκτασης που θα κλιμακώσει αυτήν τη μονάδα στα 10kW. Στο εσωτερικό του πλαισίου υπάρχει ένας εναλλάκτης θερμότητας υγρού-αέρα και εφεδρικές αντλίες. Η CDU, όπως και η πολλαπλή, έρχεται προ-γεμισμένη. Την έχουμε τοποθετήσει σχετικά χαμηλά στο ράφι, αλλά η CDU μπορεί να πάει οπουδήποτε, ανάλογα με τη διάταξη του ραφιού.

Η AHx10 έχει μέγιστη κατανάλωση ενέργειας 750W, κάτι που βοηθά στη συνολική συζήτηση για την οικονομία γύρω από την εξοικονόμηση ενέργειας. Το σύστημα διαθέτει μια διαισθητική οθόνη αφής που προσφέρει υποστήριξη απομακρυσμένης πρόσβασης. Εκτός από την αρχική ρύθμιση της πίεσης της αντλίας, δεν χρειάζεται σχεδόν τίποτα άλλο με την CDU, είναι σχεδόν "τοποθέτησέ την και ξέχασε την", η δική μας λειτουργεί εδώ και μερικές εβδομάδες χωρίς πρόσθετη παρέμβαση.

Αξίζει να σημειωθεί ότι με αυτόν τον εξοπλισμό CoolIT, δεν λύνουμε το πρόβλημα της θερμότητας. Στην πραγματικότητα, μεταφέρουμε τη θερμότητα από τις CPUs του R760 στον εναλλάκτη θερμότητας εντός της CDU. Εξακολουθούμε να χρειαζόμαστε ψύξη του εργαστηρίου όπως και πριν, καθώς δεν έχουμε εγκαταστάσεις νερού για να μεταφέρουμε τη θερμότητα εκτός του εργαστηρίου. Παρόλα αυτά, ένα μικρό σύστημα όπως αυτό είναι ιδανικό για λίγους υδρόψυκτους διακομιστές και μπορεί να είναι μια ιδανική λύση για μια επιχείρηση με μια μικρή ανάπτυξη Τεχνητής Νοημοσύνης, κάτι σαν το Dell PowerEdge XE9640 θα ταίριαζε καλά.

Παρόλο που εξακολουθούμε να αντιμετωπίζουμε τη θερμότητα από το DLC R760 στο εργαστήριό μας, υπάρχουν πολλά οφέλη από τη μετάβαση στην υδρόψυξη.

Οφέλη της DLC

Κατά τη μετάβαση από την αερόψυξη στην υδρόψυξη, το μεγαλύτερο και πιο προφανές όφελος είναι η μείωση της χρήσης ανεμιστήρων. Το R760 εξακολουθεί να χρειάζεται ροή αέρα για στοιχεία του συστήματος όπως DRAM και αποθήκευση, αλλά δεν χρειάζεται να περιστρέφονται τόσο γρήγορα. Ενώ αυτό κάνει τον διακομιστή πιο αθόρυβο, το καλύτερο μέρος του βρόχου DLC είναι η μείωση της κατανάλωσης ηλεκτρικής ενέργειας. Το άλλο πράγμα που βρήκαμε ήταν λίγο εκπληκτικό, το DLC R760 απέδωσε λίγο καλύτερα από ό,τι όταν ήταν αερόψυκτο.

Για να εξετάσουμε πιο προσεκτικά την κατανάλωση ηλεκτρικής ενέργειας του R760, στήσαμε την μονάδα ανάλυσης κύριας τροφοδοσίας Quarch QTL2843. Εκτελέσαμε τον διακομιστή τόσο με τους εργοστασιακούς αερόψυκτους ψύκτρες όσο και ξανά με τις ψυκτικές πλάκες CoolIT. Για να πιέσουμε τις CPUs, εκτελέσαμε έναν υπολογισμό του Pi σε 50 δισεκατομμύρια ψηφία, ο οποίος ασκεί πολύ βαρύ φορτίο στην CPU και τη DRAM. Σκοπός μας ήταν να πιέσουμε τις CPUs όσο το δυνατόν περισσότερο για να διασφαλίσουμε ότι οι ανεμιστήρες θα έπρεπε να λειτουργήσουν στο μέγιστο απαιτούμενο φορτίο τους.

Ο αντίκτυπος της υλοποίησης DLC ήταν άμεσα εμφανής. Κατά την εκτέλεση του R760 στη διαμόρφωση αερόψυξης, οι ανεμιστήρες περιστρέφονται στο 100% κατά τη διάρκεια του φόρτου εργασίας, όπως αναμενόταν. Με τη διαμόρφωση DLC, το R760 επέλεξε να περιστρέψει τους ανεμιστήρες στο 32%, μια δραματική μείωση. Αυτό ισοδυναμεί με εξοικονόμηση 200 watt, σε έναν μόνο διακομιστή. Δεν είναι μόνο η ταχύτητα των ανεμιστήρων που ξεχωρίζει, οι ίδιες οι CPUs αναφέρθηκαν σε περίπου μισή θερμοκρασία με DLC, 41/42C σε σύγκριση με 88/89C όταν ήταν αερόψυκτες.

 

Αλλά δεν είναι μόνο η εξοικονόμηση ενέργειας που προκύπτει όταν πηγαίνουμε στην υδρόψυξη. Είδαμε μια μικρή αύξηση στην απόδοση, κάτι που δεν περιμέναμε. Με τις ψυκτικές πλάκες να παρέχουν καλύτερη ψύξη, η CPU μπορεί να λειτουργήσει στο μέγιστο δυναμικό της. Στη διαμόρφωση αερόψυξης, το R760 ολοκλήρωσε τον υπολογισμό 50 δισεκατομμυρίων Pi σε 369 δευτερόλεπτα. Στη διαμόρφωση DLC, το R760 πήγε λίγο πιο γρήγορα, ολοκληρώνοντας τον υπολογισμό σε 347 δευτερόλεπτα. Αυτό είναι μια αύξηση στην απόδοση περίπου 6%, επιτρέποντάς μας να αντλήσουμε λίγο περισσότερα από τις CPUs της Intel.

Τελικές Σκέψεις

Βρισκόμαστε μόλις στην αρχή με την υδρόψυξη στο εργαστήριο και είμαστε ενθουσιασμένοι που συνεργαστήκαμε με την CoolIT σε αυτήν την αρχική προσπάθεια. Οι ψυκτικές πλάκες λειτουργούν τέλεια στο PowerEdge R760 και η πολλαπλή και η CDU συνδυάζονται και "απλά λειτουργούν" χωρίς καμία ανησυχία ή συνεχή πειραματισμό. Για όσους διστάζουν να φέρουν υγρό στο κέντρο δεδομένων, η συνεχής απλότητα είναι κρίσιμη. Επίσης, δεν είχαμε διαρροές ή άλλα πιο καταστροφικά γεγονότα, κάτι που αναμένεται, πρόκειται για εξοπλισμό επιχειρηματικού επιπέδου με εξαιρετικά χαμηλό ποσοστό αποτυχίας.

Για τις επιχειρήσεις που επιδιώκουν να φέρουν συστήματα Τεχνητής Νοημοσύνης υψηλής ισχύος στο κέντρο δεδομένων, η υδρόψυξη είναι ένα δεδομένο συμπέρασμα. Οι διακομιστές με 8 GPU θα εγκαταλείψουν την αερόψυξη, επιλέγοντας βρόχους DLC όπως αυτόν ή τουλάχιστον, έναν κλειστό βρόχο και ψυγείο. Είτε έτσι είτε αλλιώς, κάποια ποσότητα υγρού θα βρει το δρόμο της προς το κέντρο δεδομένων. Με την ουσιαστική εξοικονόμηση ηλεκτρικής ενέργειας και την μέτρια αύξηση της απόδοσης, υπάρχουν πολλοί λόγοι για τους οποίους οι επιχειρήσεις θα πρέπει να υιοθετήσουν διακομιστές DLC.

Η CoolIT είναι ένας ξεκάθαρος ηγέτης σε αυτόν τον χώρο και η σχέση της με την Dell φέρνει μια ευρεία ποικιλία λύσεων υδρόψυξης στην αγορά με έναν εύκολα κατανοητό τρόπο, με πολύ λίγα πράγματα για να ανησυχείτε. Ανυπομονούμε να εξερευνήσουμε περαιτέρω τον μικρό μας βρόχο και δεν μπορούμε να περιμένουμε να δούμε περισσότερους υδρόψυκτους διακομιστές στο εργαστήριο.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Εστίαση Επιχειρηματικής Δραστηριότητας:
Διανομή Προϊόντων ICT/Ενσωμάτωση Συστημάτων & Υπηρεσίες/Λύσεις Υποδομών
Με 20+ χρόνια εμπειρίας στη διανομή IT, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για να παρέχουμε αξιόπιστα προϊόντα και επαγγελματικές υπηρεσίες.
"Χρησιμοποιώντας την Τεχνολογία για την Οικοδόμηση ενός Έξυπνου Κόσμου" Ο Αξιόπιστος Πάροχος Υπηρεσιών Προϊόντων ICT!