Η Zilliz κυκλοφόρησε το Milvus v3.0, τη διανυσματική βάση δεδομένων ανοιχτού κώδικα, προσθέτοντας πρόσβαση σε δεδομένα της λίμνης και μια αναβαθμισμένη μηχανή ανάκτησης για προγραμματιστές τεχνητής νοημοσύνης παραγωγής.
Η αρχιτεκτονική της λίμνης διατηρεί τα ακατέργαστα δεδομένα σε ανοιχτές μορφές στην αποθήκευση αντικειμένων cloud αντί να τα αναπαράγει σε αυτόνομες βάσεις δεδομένων. Η Zilliz αποκάλυψε το concept Vector Lakebase στη δημόσια προεπισκόπηση του Ιουνίου. Ο CEO Charles Xie το περιέγραψε ως μια ενοποιημένη βάση δεδομένων που επιτρέπει ερωτήματα σε πραγματικό χρόνο, εξερεύνηση δεδομένων και αγωγούς εκπαίδευσης τεχνητής νοημοσύνης πολλών petabyte χωρίς αντίγραφα δεδομένων, μετεγκατάσταση ή παράλληλες στοίβες αποθήκευσης. Το ενοποιημένο επίπεδο αποθήκευσης αντικειμένων υποστηρίζει τόσο χαμηλής καθυστέρησης διαδικτυακή διανυσματική αναζήτηση όσο και αναλυτικά στοιχεία μεγάλης κλίμακας σε πανομοιότυπα αρχεία προέλευσης.
Ο συνιδρυτής και CTO της Zilliz, James Luan, σχολίασε: "Το Milvus 3.0 εκτελεί την ανάκτηση παραγωγής απευθείας πάνω από υπάρχοντα καταστήματα δεδομένων και παρέχει έναν πιο ισχυρό κινητήρα για σύγχρονους φόρτους εργασίας AI. Αυτός ο ίδιος πυρήνας εξουσιοδοτεί το Zilliz Vector Lakebase, ενισχυμένο με ελαστική κλιμάκωση, απλοποιημένες λειτουργίες και διαχείριση εργαλείων AI μεγάλης κλίμακας."
Οι διανυσματικές βάσεις δεδομένων αποθηκεύουν αριθμητικές διανυσματικές ενσωματώσεις για κείμενο, εικόνες και άλλο περιεχόμενο για να ενισχύσουν την αναζήτηση ομοιότητας. Ο Zilliz δηλώνει ότι η Milvus είναι η πιο ευρέως χρησιμοποιούμενη διανυσματική βάση δεδομένων ανοιχτού κώδικα στον κόσμο, που υιοθετήθηκε από περισσότερες από 10.000 εταιρείες για RAG, μηχανές συστάσεων και πράκτορες τεχνητής νοημοσύνης, με περισσότερα από 100 εκατομμύρια έλξεις Docker που έχουν καταγραφεί.
Οι παραδοσιακοί αγωγοί τεχνητής νοημοσύνης διατηρούν ξεχωριστά αντίγραφα δεδομένων για ανάκτηση σε πραγματικό χρόνο και ανάλυση εκτός σύνδεσης, με επιπλέον κόστος αποθήκευσης, μεγάλες εξαγωγές δεδομένων, αγωγούς συγχρονισμού και βαριά λειτουργικά έξοδα.
Δυνατότητες Core Milvus 3.0
1.Εξωτερικές Συλλογές: Δημιουργήστε συλλογές Milvus πάνω από αρχεία λίμνης σε Lance, Iceberg, Parquet ή Vortex. Το σύστημα δημιουργεί διανυσματικά, πλήρους κειμένου, ευρετήρια JSON και βαθμωτούς δείκτες σε δεδομένα πηγής χωρίς αντιγραφή, εκθέτοντάς τα μέσω τυπικών εγγενών API. Ο αυξητικός συγχρονισμός ενημερώνει αυτόματα τα ευρετήρια καθώς αλλάζουν τα δεδομένα της λίμνης.
2.Loon Storage Engine: Μια νέα ενίσχυση ανάγνωσης κοπής κινητήρα που βασίζεται σε μανιφέστο για αναζητήσεις αποθήκευσης αντικειμένων χαμηλής καθυστέρησης, χρησιμοποιώντας ανοιχτό Vortex συμβατό με βέλος ως προεπιλεγμένη μορφή στήλης.
3. Στιγμιότυπα Point-in-Time: Τα ελαφριά στιγμιότυπα συλλογής μόνο για ανάγνωση επιτρέπουν τις εργασίες κατάργησης διπλότυπων, αξιολόγησης και επικύρωσης εκτός σύνδεσης να εκτελούνται σε σταθερά σύνολα δεδομένων χωρίς να διακόπτεται η εγγραφή της παραγωγής.
4.Spark Connector & Batch Operators: Ένας σύνδεσμος Spark DataSource V2 ενσωματώνει το Milvus με ροές εργασιών παρτίδας Spark, Databricks και EMR, παράλληλα με λειτουργίες παρτίδας εγγενών διανυσμάτων για αντιγραφή και ομαδοποίηση.
Η τυπική διανυσματική αναζήτηση Top-K συλλέγει μόνο τα πιο παρόμοια διανύσματα με υπολογισμό απόστασης, υποφέροντας από κακή κλιμάκωση με υψηλούς αριθμούς διανυσμάτων και διαστάσεις. Το Milvus 3.0 επεκτείνει την ανάκτηση πολύ πέρα από τη βασική αναζήτηση πλησιέστερου γείτονα:
1. Η ταξινόμηση από την πλευρά του διακομιστή, η συγκέντρωση και η πολύπλευρη αναζήτηση συνδυάζουν τη σημασιολογική ομοιότητα με φίλτρα μεταδεδομένων (χρονική σήμανση, τιμή, κατηγορία, μισθωτής κ.λπ.), εξαλείφοντας τη μετα-επεξεργασία από την πλευρά του πελάτη.
Η ανάκτηση πολλαπλών διανυσμάτων 2.StructList υποστηρίζει οντότητες με πολλαπλές ενσωματώσεις (κομμάτια εγγράφων, ενημερώσεις κώδικα εικόνας, δεδομένα πολυτροπικών προϊόντων) και λειτουργεί με μοντέλα όψιμης αλληλεπίδρασης όπως το ColBERT και το ColPali.
3. Ο βελτιστοποιημένος αραιός ευρετήριο μειώνει το αποτύπωμα αποθήκευσης κατά ~70% ενώ ταιριάζει με την αρχική απόδοση ανάκλησης, σε συνδυασμό με αραιά διανύσματα εκμάθησης SINDI, ενσωματωμένο MinHash, μηδενιζόμενα διανυσματικά πεδία, προσαρμοσμένα λεξικά πλήρους κειμένου και ευρύτερη συμβατότητα ευρετηρίου Faiss.
Ο Luan πρόσθεσε ότι οι φόρτοι εργασίας τεχνητής νοημοσύνης παραγωγής απαιτούν κατάταξη, ομαδοποίηση και αναζήτηση πολλαπλών διανυσμάτων εγγενώς εντός της βάσης δεδομένων και επανασχεδιασμένο χώρο αποθήκευσης v3.0 για να παρέχει γρήγορη πρόσβαση στην αποθήκευση αντικειμένων παράλληλα με πιο πλούσια επεξεργασία στον κινητήρα.
Αυτός ο ενοποιημένος πυρήνας εξουσιοδοτεί τόσο το Milvus ανοιχτού κώδικα που φιλοξενείται μόνος του όσο και το πλήρως διαχειριζόμενο Zilliz Cloud. Το Zilliz Cloud επεκτείνει τη βασική μηχανή σε ένα πλήρες Vector Lakebase με ελαστικούς υπολογισμούς, εργαλεία εντοπισμού, ανάλυση παρτίδων, ενοποιημένη ευρετηρίαση, εταιρική διακυβέρνηση και αυτοματισμό σε μία μόνο πηγή δεδομένων AI.
Ανταγωνιστικό πλαίσιο βιομηχανίας
Η ενημέρωση αυξάνει την πίεση στους ανταγωνιστές Pinecone, Qdrant και Weaviate, όλοι αγωνίζονται για να μειώσουν τον λανθάνοντα χρόνο αναζήτησης: Η Qdrant κυκλοφόρησε ταχύτερη ευρετηρίαση, συμπλέγματα υψηλής διαθεσιμότητας και αρχεία καταγραφής ελέγχου συμμόρφωσης τον Απρίλιο. Το Pinecone κυκλοφόρησε προυπολογισμένα διανυσματικά σύνολα και συνθέσιμα retriever τον Μάιο για να επιταχύνει τις ροές εργασίας των πρακτόρων.
Οι πωλητές βάσεων δεδομένων καθαρού φορέα ανταγωνίζονται πλατφόρμες πολλαπλών μοντέλων, συμπεριλαμβανομένων των Regatta, SingleStore και SurrealDB. Ενώ ενσωματώνονται με lakehouses όπως το Databricks και το Snowflake, οι βαθύτερες συνεργασίες μεταξύ βάσεων δεδομένων αντιμετωπίζουν αρχιτεκτονικά εμπόδια και εμπόδια μηχανών αποθήκευσης. Η αγορά μπορεί να δει διανυσματικά παίκτες να προσθέτουν υποστήριξη εγγενών δομών, γραφημάτων, εγγράφων ή χρονοσειρών με την πάροδο του χρόνου.
Διαθεσιμότητα
Το Milvus 3.0 παραμένει ένα διαβαθμισμένο έργο LF AI & Data υπό την αδειοδότηση Apache 2.0, που μπορεί να αναπτυχθεί μέσω Docker ή Kubernetes, συμπεριλαμβανομένων περιβαλλόντων με διάκενο αέρα, με συμβατότητα για αποθήκευση αντικειμένων S3, GCS και Azure Blob. Η αρχική κάλυψη SDK περιλαμβάνει Python, Go και Node.js, με επερχόμενη υποστήριξη Java. Ο πηγαίος κώδικας, οι σημειώσεις έκδοσης και οι οδηγοί γρήγορης εκκίνησης φιλοξενούνται στο GitHub, παράλληλα με τις ώρες γραφείου της κοινότητας για υποστήριξη προγραμματιστών.
Το Managed Zilliz Cloud ενσωματώνει το Milvus 3.0 ως το βασικό του επίπεδο ευρετηρίασης, προσθέτοντας εταιρική ελαστικότητα, ασφάλεια και ενοποιημένες λειτουργίες σε ένα κοινό κοινόχρηστο αντίγραφο δεδομένων.
Υποσημείωση
Οι εξωτερικές συλλογές εφαρμόζουν ευρετηρίαση λιμνών μηδενικού αντιγράφου χωρίς μετεγκατάσταση δεδομένων. Ο Loon επιλύει το σημείο συμφόρησης της ενίσχυσης ανάγνωσης που προηγουμένως περιόριζε την αποθήκευση αντικειμένων για διανυσματικά ερωτήματα χαμηλής καθυστέρησης.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική εστίαση:
Διανομή προϊόντων ΤΠΕ/Ενοποίηση συστήματος & Υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
«Χρησιμοποιώντας την τεχνολογία για τη δημιουργία ενός ευφυούς κόσμου» Ο αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!
Το μήνυμά σας πρέπει να αποτελείται από 20-3.000 χαρακτήρες!
Greek
