εταιρικά νέα για Το Inferra είναι το Lightbits που καταλήγει στο μνημείο.

Έχω συμπιέσει το πλήρες κείμενο κατά 8% του αριθμού των λέξεων, διατήρησα όλα τα βασικά στοιχεία, τα σημεία αναφοράς, τις παραθέσεις και την τεχνική λογική, και αφαίρεσα όλους τους συνδέσμους:

Το λογισμικό Inferra της Lightbits επιταχύνει τις λειτουργίες της κρυφής μνήμης KV, σπάει το τείχος μνήμης της εξαγωγής AI και βελτιώνει δραστικά την αξιοποίηση της GPU. Η εταιρεία αποθήκευσης μπλοκ υψηλής απόδοσης δημιούργησε το Inferra για την εικονικοποίηση της μνήμης υψηλού εύρους ζώνης της GPU (HBM). Μια κρυφή μνήμη KV αποθηκεύει προ-υπολογισμένα κλειδιά και τιμές προσοχής κατά την εξαγωγή LLM, αποφεύγοντας την επαναλαμβανόμενη επανυπολογισμό δεδομένων ακολουθίας και ενισχύοντας την απόδοση της παραγωγικής AI.

Η τυπική κρυφή μνήμη KV περιορίζει τα αποθηκευμένα δεδομένα στη HBM της GPU. Μόλις η HBM κορεστεί, τα υπάρχοντα ζεύγη KV εκδιώκονται για νέα δεδομένα, απαιτώντας χρονοβόρο επανυπολογισμό κατά την επαναχρησιμοποίηση. Η σύγχρονη κρυφή μνήμη KV σε επίπεδα επεκτείνει την αποθήκευση σε DRAM του διακομιστή, τοπικούς NVMe SSD και απομακρυσμένους δικτυωμένους δίσκους NVMe. Ενώ τα υψηλότερα επίπεδα επιβαρύνουν με μεγαλύτερη καθυστέρηση πρόσβασης, αυτή η καθυστέρηση είναι συχνά μικρότερη από τον επανυπολογισμό εκτεταμένων διανυσμάτων συμβολοσειρών.

Το Inferra αντιμετωπίζει κρίσιμα σημεία συμφόρησης μνήμης που προκύπτουν από την επέκταση των αποτυπωμάτων της κρυφής μνήμης KV μεγάλης διάρκειας. Επιτρέπει στους χρήστες του cloud και των επιχειρήσεων να εκτελούν ταχύτερη, πιο επεκτάσιμη εξαγωγή AI χωρίς δαπανηρές αναβαθμίσεις υλικού GPU και HBM για την επέκταση της χωρητικότητας της κρυφής μνήμης.

Ο συνιδρυτής και πρόεδρος της Lightbits Labs, Avigdor Willenz, σημείωσε ότι η αγορά εξαγωγής AI ύψους 117 δισεκατομμυρίων δολαρίων το 2026 αναγκάζει τους παλαιότερους προμηθευτές που εστιάζουν στην εκπαίδευση να αναδιαρθρωθούν. Τόνισε ότι τα παλαιά συστήματα αποθήκευσης και εκπαίδευσης δεν μπορούν να προσαρμοστούν για τα σημεία συμφόρησης της κρυφής μνήμης KV, καθώς σχεδιάστηκαν για ξεπερασμένα παραδείγματα φόρτου εργασίας. Σχεδιασμένο ειδικά για την αποδοτικότητα της εξαγωγής GPU, το Inferra έχει επικυρωμένη αξία σε προγράμματα beta πελατών, επεκτείνοντας την καινοτομία NVMe over TCP του προμηθευτή για την επίλυση σύγχρονων προβλημάτων εξαγωγής.

Τροφοδοτούμενο από αλγορίθμους προ-ανάκτησης βελτιστοποιημένους για κρυφή μνήμη KV, το Inferra φορτώνει προληπτικά τα επερχόμενα δεδομένα της κρυφής μνήμης KV πριν από τη ζήτηση της GPU. Παρέχει τρία βασικά πλεονεκτήματα: έως και 16 φορές περισσότερες ταυτόχρονες συνεδρίες εξαγωγής σε υπάρχον υλικό GPU με αυστηρή συμμόρφωση SLA (δεν απαιτούνται αναβαθμίσεις υλικού). έως και 100 φορές βελτίωση καθυστέρησης και υποστήριξη για παράθυρα περιεχομένου 10 εκατομμυρίων συμβολοσειρών, μειώνοντας το TTFT και το TPOT μέσω προγνωστικής προ-ανάκτησης κατάστασης προσοχής αντί για επανυπολογισμό. και ασφαλή απομόνωση ενοικιαστών με έξυπνη ενοποιημένη διαχείριση κρυφής μνήμης KV για κοινόχρηστους συστάδες εξαγωγής.

Το Inferra επαναπροσδιορίζει την οικονομία της εξαγωγής εικονικοποιώντας τη μνήμη GPU σε πολλαπλά επίπεδα μνήμης και αποθήκευσης, μετατρέποντας την κατακερματισμένη κρυφή μνήμη KV σε ένα επίμονο, έξυπνο επίπεδο δεδομένων. Αναπτυγμένο στα υποσυστήματα x86 των διακομιστών, παρακολουθεί τη δραστηριότητα μπλοκ της κρυφής μνήμης KV και αξιοποιεί μια μηχανή Sub-Linear Sparse Attention Prefetch (SLSAP). Συνδυάζοντας την κατακερματισμένη κατανομή ευαίσθητη στην τοποθεσία και τα ιστορικά μοτίβα επαναχρησιμοποίησης προσοχής, κατατάσσει και δίνει προτεραιότητα στα συχνά επαναχρησιμοποιούμενα μπλοκ KV, συμπεριλαμβανομένων πρόσφατων συμβολοσειρών, σημασιολογικά παρόμοιου περιεχομένου και δομικών μοτίβων σε ροές εργασίας συνομιλίας πολλαπλών στροφών και RAG. Το σύστημα ανακτά στοχευμένα μπλοκ από τη DRAM του διακομιστή ή εξωτερικούς SSD και τα προφορτώνει στη HBM της GPU μέσω RDMA.

Ο Chief Product & Technology Officer της OVH, Yaniv Fdida, επιβεβαίωσε ότι το Inferra προσφέρει σημαντικά κέρδη στην αξιοποίηση της GPU, επιτρέποντας επεκτάσιμη, οικονομικά αποδοτική υποδομή για φόρτους εργασίας AI agent και RAG.

Τα δημόσια αποτελέσματα συγκριτικής αξιολόγησης επιβεβαιώνουν δραματικές βελτιώσεις στην απόδοση: Qwen 2.5-7B (410K περιεχόμενο) επιταχύνεται 102 φορές (72,6 δευτ. → 711 ms). DeepSeek-R1-70B (141K περιεχόμενο) βελτιώνεται 152 φορές (70,8 δευτ. → 465 ms). Llama-4-Scout (10M περιεχόμενο) επιτυγχάνει άλμα 380 φορές (1,5 ώρες → 13 δευτ.).

Ανεξάρτητο από το υλικό και συμβατό με όλα τα κύρια πλαίσια εξαγωγής ανοιχτού κώδικα, το Inferra υποστηρίζει plugins Dynamo, vLLM και LMCache. Μοναδικά, προσφέρει κλιμάκωση TTFT υπογραμμικής σχέσης σε σχέση με το μήκος του περιεχομένου, ενώ οι ανταγωνιστές, συμπεριλαμβανομένων των DDN, VAST Data και WEKA, προσφέρουν μόνο γραμμική κλιμάκωση ή αντιδραστική ροή. Η Lightbits έχει επιδείξει σταθερή εξαγωγή περιεχομένου 10 εκατομμυρίων συμβολοσειρών σε κοινές GPU L40S, ένα σημείο αναφοράς που δεν έχει επιτευχθεί από ανταγωνιστές προμηθευτές.

Ο SVP AI Product and Business της Lightbits Labs, Ramesh Chettuvetty, δήλωσε ότι το Inferra προσφέρει άμεση εξοικονόμηση TCO, εξαλείφοντας τις καθυστερήσεις εξαγωγής μεγάλου περιεχομένου και επιτρέποντας στις επιχειρήσεις να εκτελούν μεγαλύτερα μοντέλα και φόρτους εργασίας μεγαλύτερης διάρκειας διαλόγου με χαμηλότερο κόστος υποδομής. Οι χρήστες μπορούν να αξιολογήσουν τα οφέλη βελτιστοποίησης κόστους εξαγωγής του Inferra μέσω της δημόσιας πλατφόρμας αξιολόγησης αποδοτικότητας του προμηθευτή. Σε μια κοινή επίδειξη τον Μάρτιο με την ScaleFlux, το Inferra πέτυχε επιτάχυνση κρυφής μνήμης KV 100 έως 280 φορές σε φόρτους εργασίας υπολογιστικών SSD.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική Εστίαση:
Διανομή Προϊόντων ICT/Ενοποίηση Συστημάτων & Υπηρεσίες/Λύσεις Υποδομών
Με πάνω από 20 χρόνια εμπειρίας στη διανομή IT, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
“Χρησιμοποιώντας την Τεχνολογία για να Χτίσουμε έναν Έξυπνο Κόσμο”Ο Αξιόπιστος Πάροχος Υπηρεσιών Προϊόντων ICT σας!