Greek
Η AMD ανακοίνωσε τα αποτελέσματα των MLPerf Inference v6.0 benchmarks, τοποθετώντας την GPU Instinct MI355X ως μια εξαιρετικά επεκτάσιμη πλατφόρμα συμπερασμάτων, ικανή να υποστηρίξει αναπτύξεις ενός κόμβου, πολλαπλών κόμβων και ετερογενείς. Πέρα από τις σταδιακές βελτιώσεις απόδοσης, η υποβολή εισάγει νέα φορτία εργασίας, επιδεικνύει απόδοση σε κλίμακα συστάδας που υπερβαίνει το 1 εκατομμύριο tokens ανά δευτερόλεπτο και επικυρώνει τη σταθερή επαναληψιμότητα της απόδοσης σε ένα διευρυνόμενο οικοσύστημα συνεργατών.
Αρχιτεκτονική CDNA 4 Στοχεύει σε Συμπεράσματα Υψηλής Χωρητικότητας
Η Instinct MI355X βασίζεται στην αρχιτεκτονική CDNA 4 της AMD, αξιοποιώντας ένα σχέδιο chiplet διπλής διαδικασίας της TSMC: τα dies υπολογιστών (XCDs) χρησιμοποιούν κόμβο 3nm, ενώ τα dies I/O χρησιμοποιούν τεχνολογία FinFET 6nm. Η συσκευασία πολλαπλών chiplet ενσωματώνει 185 δισεκατομμύρια τρανζίστορ και υποστηρίζει μορφές δεδομένων FP4 και FP6 — κρίσιμες για αποτελεσματικά συμπεράσματα μεγάλων μοντέλων. Κάθε GPU είναι εξοπλισμένη με έως και 288 GB μνήμης HBM3E (παρέχοντας εύρος ζώνης μνήμης 8 TB/sec), επιτρέποντας την υποστήριξη μοντέλων έως και 520 δισεκατομμυρίων παραμέτρων σε μία μόνο συσκευή. Η AMD τονίζει ότι αυτός ο συνδυασμός πυκνότητας υπολογιστών και χωρητικότητας μνήμης εξαλείφει την ανάγκη για υπερβολική διαμέριση μοντέλων, ένα βασικό πλεονέκτημα για φόρτους εργασίας συμπερασμάτων μεγάλης κλίμακας.
Διαθέσιμη σε διαμορφώσεις UBB8, η πλατφόρμα προσφέρει επιλογές ψύξης με αέρα και άμεσης υγρής ψύξης, ευθυγραμμιζόμενη με τις ποικίλες απαιτήσεις ανάπτυξης κέντρων δεδομένων. Αξιοσημείωτα, η MI355X διαθέτει TBP (Thermal Design Power) 1400W με υγρή ψύξη, παρέχοντας υψηλότερη απόδοση από τον αντίστοιχο ψυχόμενο με αέρα, την MI350X.
Η Απόδοση Πολλαπλών Κόμβων Υπερβαίνει το 1 Εκατομμύριο Tokens ανά Δευτερόλεπτο
Ένα ξεχωριστό επίτευγμα από τον γύρο MLPerf v6.0 είναι η απόδοση σε κλίμακα συστάδας της AMD που υπερβαίνει το 1 εκατομμύριο tokens ανά δευτερόλεπτο. Χρησιμοποιώντας GPUs Instinct MI355X, η AMD έφτασε σε αυτό το ορόσημο με το Llama 2 70B τόσο σε σενάρια Server όσο και Offline, καθώς και με το GPT-OSS-120B σε λειτουργία Offline.
Γραφικό AMD MLPerf 1 εκατομμύριο tokens ανά δευτερόλεπτο
Αυτά τα αποτελέσματα αντικατοπτρίζουν μια αυξανόμενη βιομηχανική στροφή προς την αξιολόγηση της απόδοσης συμπερασμάτων σε επίπεδο συστάδας, αντί ανά μεμονωμένο επιταχυντή. Η συνολική απόδοση και ο χρόνος εξυπηρέτησης έχουν γίνει πρωταρχικές μετρήσεις για τον προσδιορισμό της ετοιμότητας παραγωγής σε αναπτύξεις AI μεγάλης κλίμακας.
Η AMD επέδειξε επίσης εξαιρετική αποδοτικότητα κλιμάκωσης. Για το Llama 2 70B, μια διαμόρφωση 11 κόμβων, 87 GPUs πέτυχε πάνω από 1 εκατομμύριο tokens ανά δευτερόλεπτο σε σενάρια Offline, Server και Interactive, με αποδοτικότητα κλιμάκωσης που κυμαίνεται από 93% έως 98%. Για το GPT-OSS-120B, μια συστάδα 12 κόμβων, 94 GPUs παρείχε παρόμοια απόδοση με πάνω από 90% αποδοτικότητα κλιμάκωσης — αποδεικνύοντας ότι η απόδοση μεταφράζεται αποτελεσματικά καθώς οι αναπτύξεις επεκτείνονται πέρα από ένα μόνο σύστημα.
Γενετικές Βελτιώσεις και Ανταγωνιστική Απόδοση Ενός Κόμβου
Η AMD ανέφερε σημαντικές γενετικές βελτιώσεις, με την Instinct MI355X να παρέχει 3,1 φορές καλύτερη απόδοση στο Llama 2 70B Server σε σύγκριση με την προηγούμενη γενιά Instinct MI325X, φτάνοντας τα 100.282 tokens ανά δευτερόλεπτο. Αυτή η βελτίωση προέρχεται τόσο από τις βελτιώσεις αρχιτεκτονικής CDNA 4 όσο και από τις βελτιστοποιήσεις λογισμικού ROCm. Οι βαθμολογίες Offline βελτιώθηκαν κατά 4,4 φορές και οι βαθμολογίες Server κατά 4,8 φορές σε σύγκριση με προηγούμενους γύρους MLPerf, κυρίως λόγω της κβαντοποίησης FP4 — ένα βασικό χαρακτηριστικό της MI355X που ξεκλειδώνει υψηλότερη απόδοση για φόρτους εργασίας AI.
Γραφικό αποτελεσμάτων συμπερασμάτων AMD έναντι προηγούμενης γενιάς
Σε συγκρίσεις ενός κόμβου έναντι πλατφορμών NVIDIA, η MI355X επέδειξε ισχυρή ανταγωνιστικότητα. Στο Llama 2 70B, ισοφάρισε την NVIDIA B200 σε απόδοση Offline, πέτυχε σχεδόν ισοτιμία σε απόδοση Server και την ξεπέρασε σε λειτουργία Interactive. Έναντι της NVIDIA B300, η MI355X παρείχε 92% της απόδοσης Offline, 93% της απόδοσης Server και την ξεπέρασε κατά 4% σε λειτουργία Interactive. Αξιοσημείωτα, η MI355X προσφέρει επίσης ανώτερη αποδοτικότητα κόστους, παρέχοντας 40% περισσότερα tokens ανά δολάριο σε σύγκριση με την NVIDIA B200.
Η Πρώτη Ενεργοποίηση Μοντέλου Επεκτείνει την Κάλυψη
Το MLPerf Inference v6.0 εισήγαγε πολλά νέα φορτία εργασίας, και η AMD χρησιμοποίησε αυτόν τον γύρο για να επιδείξει ταχεία ενεργοποίηση μοντέλων. Το GPT-OSS-120B, ένα μοντέλο mixture-of-experts, έκανε το ντεμπούτο του στο MLPerf με την MI355X, επιτυγχάνοντας ανταγωνιστικά αποτελέσματα έναντι συστημάτων NVIDIA τόσο σε σενάρια Offline όσο και Server.
Η AMD υπέβαλε επίσης αποτελέσματα για τη δημιουργία κειμένου σε βίντεο Wan-2.2, σηματοδοτώντας την είσοδό της σε πολυτροπικά και παραγωγικά συμπεράσματα βίντεο. Ενώ η επίσημη υποβολή επικεντρώθηκε στην καθυστέρηση Single Stream, τα αποτελέσματα ήταν ισοδύναμα με τις υπάρχουσες πλατφόρμες. Η βελτιστοποίηση μετά την υποβολή βελτίωσε περαιτέρω την απόδοση, υπογραμμίζοντας το περιθώριο βελτιστοποίησης καθώς το λογισμικό ωριμάζει.
Αυτές οι προσθήκες υπογραμμίζουν τη δέσμευση της AMD να επεκταθεί πέρα από τα παραδοσιακά benchmarks LLM για να υποστηρίξει αναδυόμενους φόρτους εργασίας AI σε ποικίλες περιπτώσεις χρήσης.
Το Λογισμικό ROCm Επιτρέπει την Κλιμάκωση και τα Ετερογενή Συμπεράσματα
Η AMD αποδίδει μεγάλο μέρος της απόδοσης και της επεκτασιμότητας της MI355X στο λογισμικό ROCm. Οι βασικές βελτιώσεις περιλαμβάνουν βελτιστοποιημένη εκτέλεση FP4, βελτιωμένη επικοινωνία GPU-προς-GPU για κατανεμημένα συμπεράσματα και υποστήριξη για δυναμική κατανομή φόρτου εργασίας σε ετερογενή περιβάλλοντα — κρίσιμη για αναπτύξεις μικτών GPUs.
Γραφικό αποτελεσμάτων συμπερασμάτων AMD MLPerf instinct mI355x
Μια ορόσημη ετερογενής υποβολή — που αναπτύχθηκε από την Dell και την MangoBoost — χρησιμοποίησε τρία μοντέλα GPU AMD Instinct: MI300X, MI325X και MI355X. Αυτή η διαμόρφωση πέτυχε 141.521 tokens ανά δευτερόλεπτο στο Llama 2 70B Server και 151.843 tokens ανά δευτερόλεπτο στο Llama 2 70B Offline. Αξιοσημείωτα, η πλατφόρμα MI355X βρισκόταν στο εργαστήριο της Dell στις ΗΠΑ, ενώ τα συστήματα MI300X και MI325X βρίσκονταν στην Κορέα — αποδεικνύοντας την ικανότητα συντονισμού κατανεμημένων συστημάτων σε γεωγραφικές τοποθεσίες.
Ανάπτυξη Οικοσυστήματος και Επαναληψιμότητα
Το οικοσύστημα συνεργατών της AMD επεκτάθηκε σημαντικά σε αυτόν τον γύρο MLPerf, με εννέα εταιρείες να υποβάλλουν αποτελέσματα σε πολλαπλές γενιές GPU Instinct. Οι συμμετέχοντες προμηθευτές περιλαμβάνουν τις Cisco, Dell, Giga Computing, HPE, MangoBoost, MiTAC, Oracle, Supermicro και Red Hat — αντανακλώντας την ευρεία υιοθέτηση των λύσεων συμπερασμάτων της AMD από τη βιομηχανία.
Οι υποβολές συνεργατών ευθυγραμμίστηκαν στενά με τα εσωτερικά αποτελέσματα της AMD, συνήθως εντός 4% και σε ορισμένες περιπτώσεις εντός 1%. Αυτή η συνέπεια επιβεβαιώνει ότι η απόδοση της MI355X είναι επαναλήψιμη σε πλατφόρμες OEM και cloud, μειώνοντας τον κίνδυνο ανάπτυξης και αυξάνοντας την εμπιστοσύνη στα πραγματικά αποτελέσματα απόδοσης.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Εστίαση Επιχειρηματικής Δραστηριότητας:
Διανομή Προϊόντων ICT/Ολοκλήρωση Συστημάτων & Υπηρεσίες/Λύσεις Υποδομών
Με 20+ χρόνια εμπειρίας στη διανομή IT, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την Τεχνολογία για να Χτίσουμε έναν Έξυπνο Κόσμο» Ο Αξιόπιστος Πάροχος Υπηρεσιών Προϊόντων ICT σας!
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Εστίαση Επιχειρηματικής Δραστηριότητας:
Διανομή Προϊόντων ICT/Ολοκλήρωση Συστημάτων & Υπηρεσίες/Λύσεις Υποδομών
Με 20+ χρόνια εμπειρίας στη διανομή IT, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την Τεχνολογία για να Χτίσουμε έναν Έξυπνο Κόσμο» Ο Αξιόπιστος Πάροχος Υπηρεσιών Προϊόντων ICT σας!