Η εταιρεία διαχείρισης μη δομημένων δεδομένων Komprise έχει αναπτύξει μια πατενταρισμένη τεχνολογία ικανή να διαχωρίζει δυναμικά τεράστια μη δομημένα σύνολα δεδομένων. Αυτή η λύση κατανέμει φόρτους εργασίας σε πολλαπλούς υπολογιστικούς κινητήρες κατά τη μετάδοση δεδομένων σε GPU επεξεργασίας AI, επιταχύνοντας σημαντικά τη συνολική ταχύτητα επεξεργασίας.
Επίσημα καταγεγραμμένη ως πατέντα US-12566637-B2, η τεχνολογία Komprise Elastic Shares (KES) υποβλήθηκε από τον CTO της Komprise Michael Peercy και την ερευνητική του ομάδα. Ο επίσημος τίτλος του είναι «Σύστημα και μέθοδοι για την υποδιαίρεση ενός άγνωστου δέντρου για την εκτέλεση λειτουργιών από πολλαπλούς υπολογιστικούς κινητήρες».
Η Peercy δήλωσε: "Το Elastic Shares δίνει τη δυνατότητα στους πελάτες μας να αξιοποιήσουν πλήρως πολύτιμους πόρους υπολογιστών, μνήμης και δικτύου. Η τεχνολογία προσφέρει σχεδόν γραμμική κλίμακα απόδοσης, βοηθώντας τις επιχειρήσεις να αποκτήσουν σημαντικά ανταγωνιστικά πλεονεκτήματα."
Για σύνολα δεδομένων κλίμακας petabyte που μεταδίδονται σε διακομιστές τεχνητής νοημοσύνης για αναλυτικά στοιχεία, συμπεράσματα LLM ή υπολογισμό πρακτόρων τεχνητής νοημοσύνης, ένας μεμονωμένος υπολογιστικός κινητήρας απαιτεί ώρες για να διασχίσει δέντρα καταλόγου ή προθέματα αποθήκευσης αντικειμένων. Μια υπολογιστική μηχανή μπορεί να οριστεί ως ένας ανεξάρτητος διακομιστής, μεμονωμένο νήμα, ομάδα νημάτων, σύμπλεγμα διεργασιών ή διεργασιών, με συνεπείς λειτουργικές αρχές σε όλα τα σενάρια. Αν και οι χρήστες μπορούν να αναπτύξουν πολλαπλούς κινητήρες για παράλληλους υπολογιστές εκ των προτέρων, η στατική κατανομή συχνά προκαλεί αναποτελεσματικότητα. Τα άνισα μεγέθη διακλαδώσεων έχουν ως αποτέλεσμα ορισμένοι υπολογιστικοί κόμβοι να τελειώνουν νωρίς και να παραμένουν αδρανείς ενώ περιμένουν πιο αργούς κόμβους να ολοκληρώσουν τις εργασίες που έχουν ανατεθεί.
Ευρεσιτεχνία Komprise US-12566637-B2.
Η ομάδα του Peercy εφηύρε έναν έξυπνο προγραμματιστή εργασιών ενσωματωμένο σε έναν από τους υπολογιστικούς κινητήρες για την παρακολούθηση της κατάστασης του κόμβου σε πραγματικό χρόνο. Όταν ξεκινά μια εργασία επεξεργασίας δεδομένων, οι φόρτοι εργασίας κατανέμονται αρχικά σε διαθέσιμες υπολογιστικές μηχανές. Μόλις οποιοσδήποτε κόμβος ολοκληρώσει το διαμέρισμα που του έχει ανατεθεί, επιστρέφει στο χώρο συγκέντρωσης πόρων για να λάβει εκκρεμείς εργασίες. Αυτός ο μηχανισμός εξαλείφει τον χρόνο αδράνειας, εκχωρεί συνεχώς νέους φόρτους εργασίας σε ελεύθερους κόμβους υπολογισμού και συντομεύει τη συνολική διάρκεια επεξεργασίας.
Σύμφωνα με μια επίσημη ανάρτηση ιστολογίου της Komprise, το KES αναδιανέμει δυναμικά φόρτους εργασίας μη δομημένων δεδομένων σε συμπλέγματα διακομιστών με τρόπο ροής. Η τεχνολογία επιτυγχάνει σχεδόν γραμμική επιτάχυνση για επεξεργασία δεδομένων μεγάλης κλίμακας χωρίς να απαιτεί προαποκτηθείσες πληροφορίες σχετικά με τη χωρητικότητα δεδομένων, την εσωτερική δομή ή την καθυστέρηση επεξεργασίας.
Για να το θέσω απλά: κάθε υπολογιστικός κόμβος λαμβάνει αυτόματα νέες εργασίες αμέσως μετά την ολοκλήρωση των τρεχουσών αναθέσεων, διατηρώντας την πλήρη χρήση των πόρων μέχρι να ολοκληρωθεί ολόκληρη η εργασία δεδομένων.
Μάικλ Πέρσι.
Η τεκμηρίωση του διπλώματος ευρεσιτεχνίας υποδεικνύει ότι οι εργασίες μετεγκατάστασης δεδομένων μεγάλης κλίμακας μεταξύ διακομιστών αρχείων ή τόμων αποθήκευσης αντιμετωπίζουν συχνά στενούς χρονικούς περιορισμούς. Ένας μεμονωμένος κόμβος υπολογισμού, είτε πρόκειται για νήμα, είτε για διεργασία ή για αυτόνομο διακομιστή, δεν έχει επαρκή απόδοση για να ολοκληρώσει γρήγορα μεγάλους φόρτους εργασίας, καθιστώντας την παράλληλη επεξεργασία πολλών μηχανών μια ουσιαστική λύση.
Το έγγραφο εξηγεί περαιτέρω ότι οι δομές δέντρων καταλόγου μπορούν να αναγνωριστούν μόνο κατά τη διάρκεια της αναδρομικής διέλευσης από τους κόμβους ρίζας σε φύλλο. Σε ορισμένες περιπτώσεις, τα δεδομένα πρέπει να υποβάλλονται σε επεξεργασία με σταθερή ακολουθία, όπως η ιεράρχηση των γονικών καταλόγων πριν από υποφακέλους και αρχεία. Αυτό απαιτεί τμηματοποίηση δυναμικού φόρτου εργασίας σε πραγματικό χρόνο αντί για άκαμπτη στατική κατάτμηση, η οποία πρέπει να προσαρμοστεί σε διαφορετικές και άγνωστες αρχιτεκτονικές δεδομένων.
Αυτή η πατενταρισμένη τεχνολογία ισχύει για αρχεία, φακέλους, αντικείμενα αποθήκευσης και προθέματα αντικειμένων. Αν και αρχικά σχεδιάστηκε για ανεξάρτητους φυσικούς διακομιστές, είναι συμβατός με όλες τις μορφές υπολογιστικών μηχανών, συμπεριλαμβανομένων των νημάτων, των διεργασιών και των συστάδων υπηρεσιών υποστήριξης.
Το Komprise υπογραμμίζει τρία βασικά πλεονεκτήματα που προσφέρει η τεχνολογία KES:
-
Δυναμική κατάτμηση εργασιών: Οι υπολογιστικοί πόροι υψηλής αξίας εκχωρούνται άμεσα με νέες εργασίες μόλις τεθούν σε αδράνεια.
-
Τυφλή επεξεργασία δεδομένων: Το σύστημα υποστηρίζει υπολογισμό δεδομένων χωρίς προηγούμενη γνώση του μεγέθους των δεδομένων, της εσωτερικής δομής και του μεταβλητού λανθάνοντος χρόνου επεξεργασίας, ταιριάζοντας απόλυτα σε σενάρια μετάδοσης δεδομένων ροής AI.
-
Έξυπνη εξισορρόπηση πόρων: Βελτιστοποιεί αυτόματα τις στρατηγικές κατανομής για προσαρμογή σε μη δομημένες ιεραρχίες δεδομένων με απρόβλεπτες πυκνότητες διακλάδωσης.
Αυτή η πρωτοποριακή κατοχυρωμένη με δίπλωμα ευρεσιτεχνίας τεχνολογία προσφέρει πρακτική και αποτελεσματική βελτιστοποίηση για μεγάλης κλίμακας μη δομημένα υπολογιστικά δεδομένα.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική εστίαση:
Διανομή προϊόντων ΤΠΕ/Ενοποίηση συστήματος & Υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την τεχνολογία για τη δημιουργία ενός ευφυούς κόσμου» Ο αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!
Το μήνυμά σας πρέπει να αποτελείται από 20-3.000 χαρακτήρες!
Greek
