Το λογισμικό Oracle Cloud Infrastructure (OCI), WEKA NeuralMesh και Augmented Memory Grid προσφέρει 10 φορές υψηλότερη απόδοση διακριτικού, 10 φορές περισσότερους ταυτόχρονους χρήστες και 7 φορές περισσότερα διακριτικά ανά GPU, σε σύγκριση με τυπικά περιβάλλοντα OCI που βασίζονται αποκλειστικά στην τοπική DRAM.
Το πλέγμα επαυξημένης μνήμης της WEKA επεκτείνει τη μνήμη διακομιστή GPU για συμπέρασμα AI αξιοποιώντας την εξωτερική αποθήκευση μέσω NeuralMesh, μετατρέποντας τους εξωτερικούς πόρους σε μια κρυφή μνήμη KV υψηλής απόδοσης. Παρέχει καθυστέρηση μικροδευτερόλεπτου και εύρος ζώνης πολλών GB/s, προσφέροντας έως και petabyte επιπλέον χώρο διευθύνσεων στη μνήμη, με πλήρη συμβατότητα για την αρχιτεκτονική αποθήκευσης κρυφής μνήμης SX KV της NVIDIA. Το NeuralMesh είναι το σύστημα αρχείων AI υψηλής απόδοσης της WEKA. Όλα τα σημεία αναφοράς επικυρώθηκαν σε ένα σύμπλεγμα OCI γυμνού μετάλλου H100 9 κόμβων με παράθυρα περιβάλλοντος 100.000 διακριτικών.
Ο Pablo Salem, Ανώτερος Διευθυντής Ανάπτυξης Λογισμικού στην OCI, σχολίασε: "Οι φόρτοι εργασίας της Enterprise AI συνεχίζουν να επεκτείνουν τα παράθυρα περιβάλλοντος και να αυξάνουν τη χρήση της GPU σε νέα όρια. Αυτά τα σημεία αναφοράς αποδεικνύουν ότι η λύση της WEKA εξαλείφει τα σημεία συμφόρησης της μνήμης GPU στο OCI, επιτρέποντας μεγαλύτερους, πιο απαιτητικούς φόρτους εργασίας συμπερασμάτων χωρίς επιπλέον επενδύσεις υλικού GPU."
Η WEKA σημειώνει ότι η αυξανόμενη ζήτηση συμπερασμάτων ενισχύει την αναποτελεσματικότητα της υποδομής AI. Οι συχνές εξώσεις της κρυφής μνήμης KV δημιουργούν κρυφά έξοδα που σπαταλά τους κύκλους της GPU, αυξάνει τον λανθάνοντα χρόνο, βλάπτει την εμπειρία του χρήστη και αυξάνει το λειτουργικό κόστος ανά διακριτικό. Για φόρτους εργασίας τεχνητής νοημοσύνης μεγάλου πλαισίου και πρακτορείου με εισόδους 100.000-token plus, τέτοια γενικά έξοδα βλάπτουν σοβαρά τα οικονομικά της μονάδας ανάπτυξης τεχνητής νοημοσύνης στην παραγωγή.
Το σημείο αναφοράς βασίστηκε σε 9 κόμβους, 72 GPU H100, παράθυρα περιβάλλοντος 100.000 διακριτικών και χιλιάδες ταυτόχρονους χρήστες, με σαφή κενά απόδοσης που φαίνονται παρακάτω:
-
Ταυτόχρονη χωρητικότητα χρήστη: Η WEKA υποστήριξε περισσότερους από 5.000 ταυτόχρονους χρήστες, έναντι μόλις 600 σε ρυθμίσεις μόνο DRAM. Αποτρέπει τις αποτυχίες κορεσμού της κρυφής μνήμης επεκτείνοντας την ενεργή κρυφή μνήμη από 8,64 TiB DRAM σε 287 TiB NVMe αποθήκευσης flash, μεγιστοποιώντας την απόδοση επένδυσης σε υπάρχον υλικό GPU χωρίς πρόσθετες αγορές GPU.
-
Διακίνηση διακριτικού: Η στοίβα WEKA σημείωσε περίπου 2 εκατομμύρια μάρκες ανά δευτερόλεπτο, 10 φορές γρηγορότερα από τη γραμμή βάσης κάτω των 200.000 tokens/sec των συστημάτων μόνο DRAM.
-
Συνολικός όγκος επεξεργασίας διακριτικών: Σε μια δοκιμή διάρκειας μίας ώρας με 2.400 ταυτόχρονους χρήστες, η WEKA επεξεργάστηκε 5 δισεκατομμύρια μάρκες, ενώ η ρύθμιση μόνο για DRAM χειρίστηκε μόνο 700 εκατομμύρια μάρκες.
Για ροές εργασιών τεχνητής νοημοσύνης, η ανεπαρκής μνήμη DRAM ενεργοποιεί συνεχή επανυπολογισμό της GPU μετά τον κορεσμό της κρυφής μνήμης, αυξάνοντας το κόστος ανά διακριτικό και μειώνοντας την απόδοση επένδυσης (ROI). Με 7x tokens που υποβάλλονται σε επεξεργασία ανά GPU, το WEKA μειώνει σημαντικά το συνολικό κόστος token για τις υπηρεσίες τεχνητής νοημοσύνης παραγωγής.
Για υπηρεσίες τεχνητής νοημοσύνης σε πραγματικό χρόνο, συμπεριλαμβανομένης της αναζήτησης, της σύνοψης, της βοήθειας κώδικα και των πρακτόρων πολλαπλών στροφών, η διεκπεραίωση διακριτικών ορίζει όρια υπηρεσίας για τη χωρητικότητα των χρηστών, την ταχύτητα απόκρισης και τις δυνατότητες εσόδων υποδομής. Η βελτίωση απόδοσης 10x ξεκλειδώνει πλήρως την εγγενή υπολογιστική ισχύ GPU εντός του συμπλέγματος OCI.
Εν ολίγοις, το λογισμικό επέκτασης μνήμης της WEKA βοηθά τις πλατφόρμες cloud να εξυπηρετούν περισσότερους χρήστες, να επεξεργάζονται περισσότερα διακριτικά και να μειώνουν αποτελεσματικά το λειτουργικό κόστος.
Ο Liran Zvibel, Διευθύνων Σύμβουλος της WEKA, δήλωσε: "Η απόδοση συμπερασμάτων μειώνεται λόγω της διαθέσιμης αποτελεσματικής μνήμης GPU. Αυτά τα αποτελέσματα αποδεικνύουν ότι οι αναβαθμίσεις υλικού από μόνες τους δεν μπορούν να διορθώσουν οικονομικά προβλήματα με διακριτικά τεχνητής νοημοσύνης. Ο πραγματικός περιορισμός είναι η μακροχρόνια απόδοση της GPU που περιορίζει τον τοίχο μνήμης. Η λύση της WEKA για το OCI ενισχύει δραστικά την ικανότητα επεξεργασίας διακριτικών με βελτιστοποιημένο συνολικό κόστος ιδιοκτησίας."
Η OCI έχει δημοσιεύσει πλήρη μεθοδολογία αναφοράς, διαμορφώσεις συστήματος και πλήρη αποτελέσματα δοκιμών στο επίσημο ιστολόγιο AI & Data Science.
Το NeuralMesh with Augmented Memory Grid είναι πλέον γενικά διαθέσιμο για πελάτες της WEKA και διατίθεται στο Oracle Marketplace, με την OCI να ενεργεί ως ο αποκλειστικός συνεργάτης εκκίνησης του cloud. Οι επιχειρήσεις που εκτελούν συμπεράσματα μακροπρόθεσμου πλαισίου σε OCI μπορούν να αναπτύξουν αυτήν την έτοιμη για παραγωγή, πλήρως επικυρωμένη αρχιτεκτονική αμέσως.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική εστίαση:
Διανομή προϊόντων ΤΠΕ/Ενοποίηση συστήματος & Υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την τεχνολογία για τη δημιουργία ενός ευφυούς κόσμου» Ο αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!
Το μήνυμά σας πρέπει να αποτελείται από 20-3.000 χαρακτήρες!
Greek
