Greek
Η VAST Data έχει επεκτείνει τη συνεργασία της με την AMD για την προώθηση της υποδομής τεχνητής νοημοσύνης για πλατφόρμες cloud και επιχειρήσεων που εκτελούν εκπαίδευση μοντέλων, συμπεράσματα, αναζήτηση με αυξημένη γενιά (RAG),και αντιπροσωπευτικά φορτία εργασίας AIΗ ενσωματωμένη στοίβα ενώνει το λειτουργικό σύστημα VAST AI με επεξεργαστές AMD EPYC 6ης γενιάς, GPU AMD Instinct, δίκτυο AMD και λογισμικό ROCm.
Η συνεργασία αυτή ευθυγραμμίζεται με μια σημαντική αλλαγή στον κλάδο: η υποδομή τεχνητής νοημοσύνης εξελίσσεται πέρα από τα συμπλέγματα εκπαίδευσης μόνο για να υποστηρίξει το διαρκές πλαίσιο, την συμπερίληψη υψηλής ανταγωνιστικότητας,και πολλαπλές ροές εργασίας πράκτορα στροφήςΟι σύγχρονες αναπτύξεις τεχνητής νοημοσύνης δίνουν προτεραιότητα στην αποτελεσματική μετακίνηση δεδομένων, στη βελτιστοποιημένη διαχείριση cache KV, στην υψηλότερη αξιοποίηση GPU και στην πρόσβαση χαμηλής καθυστέρησης σε μεγάλα μοντέλα και σε σύνολα δεδομένων.
Η αρχιτεκτονική DASE (Disaggregated Shared Everything) του VAST χρησιμεύει ως το ενοποιημένο κοινόχρηστο στρώμα δεδομένων για αυτά τα σύγχρονα περιβάλλοντα τεχνητής νοημοσύνης.ροή γεγονότων, και βασικές υπηρεσίες δεδομένων κάτω από έναν ενιαίο παγκόσμιο χώρο ονομάτων, παρέχοντας παράλληλα απομόνωση πολυενδυτή και φόρτου εργασίας για σύννεφα τεχνητής νοημοσύνης που εκτελούν διάφορες ταυτόχρονες εργασίες πελατών και εφαρμογών.
AMD EPYC 9006 Δυνάμεις Next-Gen VAST Hardware
Η VAST υιοθετεί επεξεργαστές AMD EPYC 9006 σειράς 6ης γενιάς (Venice) για τα επερχόμενα συστήματα CBox 6ης γενιάς και EBox 3ης γενιάς, τα οποία αποτελούν το βασικό υλικό του λειτουργικού συστήματος VAST AI.Η πλατφόρμα EPYC 9006 εισάγει τη συνδεσιμότητα PCIe Gen6 στη σειρά υλικού του VAST, διπλασιάζοντας το εύρος ζώνης I/O ανά γενιά.
Η αναβάθμιση αυξάνει την απόδοση αποθήκευσης αρχείων και αντικειμένων και μειώνει την καθυστέρηση για βάσεις δεδομένων, αποθήκη δεδομένων και φορτία ροής γεγονότων που υποστηρίζονται από το VAST DataBase και το DataEngine.Η βελτιωμένη ζώνη ευρύτητας I/O ελαφρύνει τα στενά σημεία σε όλη την υπολογιστική, δικτύωση και αποθήκευση NVMe, ωφελώντας το φόρτωμα μοντέλου, αγωγούς ανάκτησης, πρόσβαση σημείων ελέγχου και εξωτερικές ροές εργασίας KV cache που υπερβαίνουν τα όρια εγγενούς μνήμης GPU.
Αρχιτεκτονική αναφοράς τριών παικτών με AMD και DriveNets
Η VAST, η AMD και η DriveNets κατασκευάζουν από κοινού μια ενοποιημένη αρχιτεκτονική αναφοράς υποδομής τεχνητής νοημοσύνης, συνδυάζοντας την υποδομή Helios AI της AMD, το VAST AI OS και το δίκτυο DriveNets AI Fabric.Το πλαίσιο παρέχει τυποποιημένες κατευθυντήριες γραμμές ανάπτυξης για την εκπαίδευση της τεχνητής νοημοσύνης, συμπεράσματα, μάθηση με ενίσχυση και φόρτος εργασίας KV cache,παροχή βέλτιστων πρακτικών μεγέθους και διαθεσιμότητας για επιχειρήσεις που κατασκευάζουν εργοστάσια τεχνητής νοημοσύνης με κοινή υποδομή δεδομένων και δίκτυα υψηλής απόδοσης.
Η VAST έχει επίσης διευρύνει τους δεσμούς του οικοσυστήματος με τους προμηθευτές συμπερασμάτων TensorMesh και EmbeddedLLM, εστιάζοντας σε αρχιτεκτονικές συμπερασμάτων παραγωγής για περιπτώσεις χρήσης AI,με συγκεκριμένες λεπτομέρειες ολοκλήρωσης και εκτόξευσης που δεν έχουν ακόμη αποκαλυφθεί.
Βελτιστοποιημένο εκφόρτωμα KV Cache για συμπεράσματα υψηλής ισοτιμίας
Ένα κεντρικό κομμάτι της επικαιροποιημένης συνεργασίας είναι η βελτιωμένη εκφόρτωση KV cache, αξιοποιώντας τις GPU AMD Instinct, την AMD Infinity Context, το λογισμικό ROCm και το λειτουργικό σύστημα VAST AI.Το KV cache αποθηκεύει δεδομένα κατάστασης προσοχής που παράγονται από συμπεράσματα για να επιταχύνει τις αλληλεπιδράσεις πολλαπλών στροφών και τα φορτία εργασίας τεχνητής νοημοσύνης μεγάλου πλαισίου, ωστόσο τα μεγάλα μεγέθη cache καταναλώνουν γρήγορα περιορισμένη μνήμη GPU.
Η εκφόρτωση ή η κατάταξη της KV cache σε κοινή αποθήκευση υψηλής απόδοσης απελευθερώνει τη μνήμη GPU για ενεργές εργασίες, διατηρώντας ταυτόχρονα τα δεδομένα του πλαισίου για μεταγενέστερα αιτήματα συμπεράσματος.Οι πρώτες δοκιμές στις GPU AMD Instinct MI355X παρήγαγαν 9 φορές ταχύτερο χρόνο-προς-πρώτο-τόκεν και 9 φορές ταχύτερο χρόνο-προς-πρώτο-τόκεν..7 φορές υψηλότερη απόδοση token για φορτία εργασίας AI με υψηλή συνέλευση μέσω εκφόρτωσης cache KV που τροφοδοτείται από VAST, με τις επιδόσεις να ποικίλλουν ανάλογα με την βασική γραμμή υλικού, το φορτίο εργασίας και τη διαμόρφωση αποθήκευσης.
Επιπλέον, οι αυτοματοποιημένες πολιτικές κύκλου ζωής του VAST εφαρμόζονται στα δεδομένα KV cache, επιτρέποντας την προγραμματισμένη λήξη και διαγραφή του περιεχομένου της cache, ένα κρίσιμο χαρακτηριστικό για την επεξεργασία ευαίσθητων δεδομένων,προσωπικά ή ρυθμιζόμενα δεδομένα συμπεράσματος.
Διασύνδεση GPU-Storage υψηλής ταχύτητας μέσω Pensando Pollara 400
Η αρχιτεκτονική αναπτύσσει AMD Pensando Pollara 400 AI NICs για τη σύνδεση των AMD Instinct GPUs με τα VAST storage clusters.η NIC επιτρέπει αποτελεσματικές μεταφορές δεδομένων από GPU σε αποθήκευση, παρέχοντας πρόσβαση χαμηλής καθυστέρησης στην αποθήκευση VAST με βάση το NVMe για την αποθήκευση KV και τα γενικά φορτία εργασίας συμπεράσματος.
Αυτό το σχεδιασμό αποσυνδέει την κλιμακωτικότητα διαχείρισης περιεχομένου από τα φυσικά όρια μνήμης GPU.Το VAST τοποθετεί την πλατφόρμα του ως ενιαίο επίπεδο δεδομένων και εκτέλεσης για τη διανεμημένη διαχείριση μοντέλωνΓια τους παρόχους cloud AI, η αρχιτεκτονική αυξάνει τη χρήση GPU και την λειτουργική απόδοση,στήριξη της μετάβασης της βιομηχανίας από την εκπαίδευση σε παρτίδες και την ενοικίαση GPU σε υπηρεσίες διαρκούς συμπεράσματος και αντιπροσωπευτικής τεχνητής νοημοσύνης.
Πεκίνο Qianxing Jietong Technology Co., Ltd.
Σάντι Γιανγκ, Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Ηλεκτρονικό μήνυμα: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επικεντρώσου στις επιχειρήσεις:
Διανομή προϊόντων ΤΠΕ/Ενσωμάτωση συστημάτων και υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
Χρησιμοποιώντας την τεχνολογία για την οικοδόμηση ενός ευφυούς κόσμουΟ αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!
Σάντι Γιανγκ, Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Ηλεκτρονικό μήνυμα: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επικεντρώσου στις επιχειρήσεις:
Διανομή προϊόντων ΤΠΕ/Ενσωμάτωση συστημάτων και υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
Χρησιμοποιώντας την τεχνολογία για την οικοδόμηση ενός ευφυούς κόσμουΟ αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!