Το MinIO έχει αναπτύξει ένα σύστημα προσωρινής αποθήκευσης MemKV σε κλίμακα petabyte, προσαρμοσμένο για GPU της Nvidia, που έχει αναπτυχθεί πάνω από την πλατφόρμα αποθήκευσης αντικειμένων AIStor.
Τα συμπλέγματα GPU που εκτελούν συμπεράσματα απαιτούν μνήμη υψηλού εύρους ζώνης (HBM) για την αποθήκευση ζευγών περιβάλλοντος, διανυσματικών διακριτικών και ενδιάμεσων ζευγών κλειδιού-τιμής (KV). Μόλις κορεστεί η GPU HBM, τα δεδομένα μεταφέρονται σε CPU DRAM και SSD NVMe, τα οποία διαχειρίζονται οι DPU της Nvidia BlueField-4 (BF4). Όταν αυτές οι βαθμίδες φτάσουν σε χωρητικότητα, το MinIO AIStor λειτουργεί ως το τελικό αντίγραφο αποθήκευσης. Η αρχιτεκτονική STX της Nvidia διέπει αυτήν την ιεραρχία της κρυφής μνήμης πολλαπλών επιπέδων και το MemKV συμμορφώνεται με το πρότυπο για την παροχή επίμονου, κοινόχρηστου περιβάλλοντος σε συμπλέγματα GPU σε ανώτερη κλίμακα.
Η AB Periasamy, συνιδρυτής και συν-Διευθύνων Σύμβουλος της MinIO, σχολίασε: «Ο κλάδος ασχολείται με την απώλεια πλαισίου εδώ και χρόνια επειδή, σε μικρή κλίμακα, μπορεί να απορροφήσετε τον φόρο επανυπολογισμού. Στη σημερινή υψηλή πυκνότητα GPU για υπερκλιμάκωση και νεοσύννεφα, αυτό δεν είναι πλέον βιώσιμο.
Ο επανυπολογισμός του παραγόμενου περιβάλλοντος σπαταλά ενέργεια. για συμπλέγματα με χιλιάδες GPU, δημιουργεί θεμελιώδη δομική αναποτελεσματικότητα. Το συμπέρασμα μεγάλης κλίμακας απαιτεί ειδική υποδομή και το MemKV έχει σχεδιαστεί ειδικά για αυτήν τη διαδρομή δεδομένων."
Για πρώτη φορά, το MinIO ενεργοποιεί κοινόχρηστες ομάδες περιβάλλοντος για ολόκληρα συμπλέγματα GPU σε ροές εργασίας συμπερασμάτων αντιστοίχισης λανθάνοντος χρόνου σε επίπεδο μικροδευτερόλεπτου, αποφεύγοντας καθυστερήσεις χιλιοστού του δευτερολέπτου από τη συμβατική εξωτερική αποθήκευση. Χωρίς επαρκή επίπεδα κρυφής μνήμης, οι GPU σπαταλούν πόρους σε επαναλαμβανόμενους επανυπολογισμούς περιβάλλοντος.
Σε μια ανάπτυξη 128 GPU με μήκος περιβάλλοντος 128K-token, το MemKV βελτίωσε το time-to-first-token υπό φόρτους παραγωγής και αύξησε τη χρήση GPU από 50% σε πάνω από 90%, δημιουργώντας εκτιμώμενη ετήσια εξοικονόμηση υπολογιστικού κόστους 2 εκατομμυρίων $.
Σχεδιασμένο για την αρχιτεκτονική Nvidia STX, το MemKV υποστηρίζει εργαλεία προσωρινής αποθήκευσης Nvidia Dynamo και NIXL. Παρέχει petabyte κοινόχρηστης μνήμης περιβάλλοντος με κόστος σε επίπεδο SSD, αποσυνδέοντας την κλιμάκωση της προσωρινής μνήμης από τους υπολογιστικούς πόρους της GPU. Τα βασικά χαρακτηριστικά του παρατίθενται παρακάτω:
-
Εγγενής υποστήριξη BF4 STX: Εκτελείται ως δυαδικό αρχείο ARM64 εντός της υποδομής STX, ενσωματωμένο σε αποθηκευτικό χώρο και όχι σε ξεχωριστούς διακομιστές αποθήκευσης x86.
-
Μεταφορά RDMA από άκρο σε άκρο: Μεταφέρει προσωρινή μνήμη KV μεταξύ μνήμης GPU και NVMe μέσω RDMA, παρακάμπτοντας τα συμβατικά πρωτόκολλα αποθήκευσης αρχείων και αντικειμένων.
-
Μέγεθος μπλοκ βελτιστοποιημένο για GPU: Χρησιμοποιεί μπλοκ 2–16 MB για απαιτήσεις απόδοσης GPU, αντί για μπλοκ αποθήκευσης παλαιού τύπου 4 KB.
-
Απόδοση ταχύτητας καλωδίου: Βελτιστοποιημένο για Nvidia Spectrum-X Ethernet και PCIe Gen6 για μεγιστοποίηση της απόδοσης φυσικού υλικού.
Το MemKV μεταφέρει απευθείας δεδομένα από NVMe SSD σε αγωγούς AI μέσω RDMA, εξαλείφοντας την επιβάρυνση HTTP, τη μετάφραση συστήματος αρχείων και τους ενδιάμεσους διακομιστές αποθήκευσης.
Το MinIO κατηγοριοποιεί τις ανταγωνιστικές λύσεις μνήμης περιβάλλοντος σε δύο τύπους: μη κοινόχρηστο τοπικό NVMe (G3) και κοινόχρηστο χώρο αποθήκευσης γενικής χρήσης (G4). Τοποθετεί το MemKV ως ένα ειδικά κατασκευασμένο επίπεδο G3.5, το οποίο ξεχωρίζει από τα προϊόντα αποθήκευσης γενικής χρήσης.
Η εταιρεία τονίζει ότι οι προσφορές G3.5 των παλαιών προμηθευτών εξακολουθούν να διατηρούν πλεονάζοντες κόμβους πρωτοκόλλου, υπηρεσίες μεταδεδομένων και επίπεδα μετάφρασης αρχείων. Αυτά τα επίπεδα εξασφαλίζουν ανθεκτικότητα και συνέπεια για τα δεδομένα εκπαίδευσης και τα βάρη μοντέλων, ωστόσο δεν είναι απαραίτητα για την εφήμερη, επανυπολογίσιμη κρυφή μνήμη KV βελτιστοποιημένη για μπλοκ δεδομένων 2–16 MB.
Ο προμηθευτής υλικού RAID GRAID και η εταιρεία αποθήκευσης WEKA παρέχουν επίσης λύσεις κρυφής μνήμης KV συμβατές με STX. Ένα ευρύ φάσμα προμηθευτών αποθήκευσης υποστηρίζει Nvidia STX, συμπεριλαμβανομένων των Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops και VAST Data.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική εστίαση:
Διανομή προϊόντων ΤΠΕ/Ενοποίηση συστήματος & Υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την τεχνολογία για τη δημιουργία ενός ευφυούς κόσμου» Ο αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!
Το μήνυμά σας πρέπει να αποτελείται από 20-3.000 χαρακτήρες!
Greek
