εταιρικά νέα για Το SereneDB λανσάρει τη σούπερ γρήγορη μηχανή αναζήτησης δεδομένων S3.

Το Krummelanke της γερμανικής startup SereneDB ισχυρίζεται ότι είναι η ταχύτερη μηχανή αναζήτησης βάσεων δεδομένων στον κόσμο, συνδυάζοντας αναζήτηση και ανάλυση σε ένα προϊόν.

Η εταιρεία δηλώνει ότι οι πράκτορες AI εκτελούν εκατοντάδες υβριδικά ερωτήματα εύρεσης και καταμέτρησης ανά δευτερόλεπτο, ωστόσο κάθε βάση δεδομένων σε παραγωγή κατασκευάστηκε για ανθρώπινους χρήστες. Η μηχανή Krummelanke έχει σχεδιαστεί για να χειρίζεται αναζήτηση βάσεων δεδομένων σε κλίμακα πράκτορα υψηλής ταχύτητας. Το Krummelanke είναι ανοιχτού κώδικα υπό την άδεια Apache 2.0, συμβατό με Postgres και Elastic, και μπορεί να εκτελέσει αναζήτηση πλήρους κειμένου σε δεδομένα που είναι αποθηκευμένα στο S3.

Ο συνιδρυτής και CEO Alexander Malandin δήλωσε: «Το μελλοντικό μοντέλο των πρακτόρων είναι, πάνω απ' όλα, ένα πρόβλημα φόρτου δεδομένων. Σήμερα, ένας πράκτορας AI είναι μια μεμονωμένη μέλισσα που επισκέπτεται ένα μεμονωμένο λουλούδι. Αυτό που έρχεται είναι το σμήνος: περισσότεροι πράκτορες από εργαζόμενους σε κάθε οργανισμό, ο καθένας που εκτελεί εκατοντάδες ερωτήματα ανά δευτερόλεπτο. Η υποδομή που κατασκευάστηκε για ανθρώπινους χρήστες δεν είναι ούτε αρκετά γρήγορη ούτε αρκετά οικονομικά αποδοτική για να επιβιώσει από αυτόν τον φόρτο. Το μελλοντικό μοντέλο των πρακτόρων απαιτεί μια νέα γενιά βάσεων δεδομένων: εξαιρετικά γρήγορη αναζήτηση και εξαιρετικά γρήγορη ανάλυση σε μία μηχανή, όπου οι λειτουργίες αναζήτησης μετρώνται σε νανοδευτερόλεπτα και μια ερώτηση σε δισεκατομμύρια εγγραφές επιστρέφει σε χιλιοστά του δευτερολέπτου. Μια που αντιμετωπίζει τους πράκτορες ως χρήστες πρώτης κατηγορίας, αντέχει την κλίμακά τους και φτάνει στα δεδομένα όπου κι αν βρίσκονται. Αυτό είναι που κατασκευάσαμε, και με το SereneDB Krummelanke το θέτουμε σε παραγωγή.»

Το SereneDB σημειώνει ότι οι αναλυτικές μηχανές όπως το Snowflake, το BigQuery, το DuckDB πάνω από Parquet και τα lakehouses γενικά διαβάζουν στηλοειδή δεδομένα απευθείας από το S3 από προεπιλογή. Οι μεγάλες σειριακές σαρώσεις ταιριάζουν στο προφίλ καθυστέρησης του αντικειμενικού χώρου αποθήκευσης, σε αντίθεση με την αναζήτηση πλήρους κειμένου. Η αναζήτηση πλήρους κειμένου απαιτεί ένα αντιστραμμένο ευρετήριο που παραθέτει στοιχεία περιεχομένου όπως λέξεις ή αριθμούς και τα αντιστοιχίζει στις θέσεις τους εντός πινάκων ή εγγράφων. Η αναζήτηση αντιστραμμένου ευρετηρίου παράγει πολλές τυχαίες προσβάσεις. Συνήθως, οι μηχανές αναζήτησης που βασίζονται σε Lucene αποθηκεύουν ευρετήρια σε γρήγορο τοπικό χώρο αποθήκευσης ξεχωριστά από την κύρια αποθήκη δεδομένων του lakehouse. Το SereneDB δηλώνει ότι τα «αναζητήσιμα» δεδομένα εντός μιας εγκατάστασης Elastic σημαίνουν τη διατήρηση ενός δεύτερου αντιγράφου σε flash, την πιο ακριβή βαθμίδα αποθήκευσης που είναι διαθέσιμη.

Ρωτήσαμε πώς η αναζήτηση του SereneDB διαφέρει από την γενική αναζήτηση δεδομένων αντικειμενικού χώρου αποθήκευσης, όπως η αναζήτηση Cloudian HyperStore.

Ο CTO Andrey Abramov μας είπε: «Η Cloudian είναι ένας πάροχος αποθήκευσης συμβατός με S3 και το HyperSearch είναι μια υπηρεσία συνδεδεμένη με το bucket. Συλλέγει μεταδεδομένα των αποθηκευμένων αντικειμένων και ευρετηριάζει αυτά τα μεταδεδομένα εντός ενός υποκείμενου στοιχείου αναζήτησης. Αυτό είναι ένα ξεχωριστό σύστημα ευρετηρίασης που τροφοδοτείται μέσω αντιγραφής δεδομένων. Πολλές υπηρεσίες υλοποιούν την αναζήτηση με αυτόν τον τρόπο και λειτουργούν καλά.»

Ωστόσο, στο επίπεδο του πυρήνα της μηχανής αναζήτησης: «Υπάρχουν μόνο μια χούφτα βασικών τεχνολογιών και βιβλιοθηκών αναζήτησης παγκοσμίως: Lucene, Tantivy και IResearch που κατασκευάστηκε από το SereneDB. Το Elasticsearch, το OpenSearch, το Solr και πολλά άλλα είναι παράγωγα του Lucene και ακολουθούν ένα μοντέλο αντιγραφής πρώτα. Δεν μπορούν να αναζητήσουν δεδομένα που δεν κατέχουν τοπικά, οπότε οποιαδήποτε δεδομένα προς αναζήτηση πρέπει να εξαχθούν, να μεταφερθούν και να διπλασιαστούν στο cluster αναζήτησης.»

Το SereneDB λειτουργεί διαφορετικά: «Το SereneDB ευρετηριάζει δεδομένα εκεί που βρίσκονται ήδη. Τα αρχεία Parquet και οι πίνακες Iceberg στο S3 παραμένουν η πηγή αλήθειας. Αποθηκεύουμε μόνο το παράγωγο ευρετήριο. Η ίδια η αναζήτηση — πλήρους κειμένου με κατάταξη BM25, αναζήτηση διανυσμάτων και γεωγραφική αναζήτηση — εκτελείται έναντι αυτού του ευρετηρίου με ένα μικρό τοπικό hot set. Η περίπτωση χρήσης του Iceberg χρησιμεύει ως συγκεκριμένο παράδειγμα: ένας πελάτης γράφει αλλαγές σε έναν πίνακα Iceberg στο S3, το SereneDB λαμβάνει αυτές τις ενημερώσεις και παρέχει αναζήτηση και ανάλυση πάνω σε αυτές. Μπορείτε να κατευθύνετε οποιονδήποτε αριθμό κόμβων SereneDB στον ίδιο πίνακα.»

Ρωτήσαμε εάν οι πάροχοι αντικειμενικού χώρου αποθήκευσης, βάσεων δεδομένων ή lakehouse θα μπορούσαν να υιοθετήσουν τη μηχανή αναζήτησης του SereneDB ως εναλλακτική λύση στο Lucene και τα παράγωγά του. Ο Abramov δήλωσε: «Ναι, απολύτως! Μπορούμε όχι μόνο να αντικαταστήσουμε τα ElasticSearch, OpenSearch, Solr, CrateDB που είναι καθαρά παράγωγα του Lucene, αλλά και να τα ενισχύσουμε με αναλυτικές δυνατότητες. Για παράδειγμα, διατηρούμε αποκλειστική τεκμηρίωση που καλύπτει τη μετανάστευση από το ElasticSearch.»

Η εταιρεία έχει πραγματοποιήσει συγκριτικές δοκιμές συγκρίνοντας την ταχύτητα της μηχανής αναζήτησής της με δημοφιλείς εναλλακτικές λύσεις και ξεπερνώντας τις. Ο Abramov δήλωσε: «Στόχος μας με αυτές τις συγκριτικές δοκιμές ήταν να αποδείξουμε ότι το SereneDB είναι μια ταχύτερη και σύγχρονη εναλλακτική λύση στην παραδοσιακή στοίβα αναζήτησης.»

Λεπτομέρειες Συγκριτικής Δοκιμής

Το SearchBench του SereneDB περιλαμβάνει 92 ερωτήματα αναζήτησης και ανάλυσης που εκτελούνται έναντι 100 εκατομμυρίων και 1 δισεκατομμυρίου εγγραφών OpenTelemetry, το σύνολο δεδομένων TextBench που δημοσιεύτηκε από το ClickHouse με 15 αποθηκευμένες στήλες ανά εγγραφή. Όλες οι δοκιμές εκτελούνται σε έναν μόνο διακομιστή. Κάθε ανταγωνιστική μηχανή ρυθμίστηκε χρησιμοποιώντας δημοσιευμένες παραμέτρους διαμόρφωσης, με χρονικό όριο 60 δευτερολέπτων ανά ερώτημα. Οποιοδήποτε ερώτημα υπερβαίνει αυτό το όριο σημειώνεται ως δεν ολοκληρώθηκε.

Τα αποτελέσματα της συγκριτικής δοκιμής για περισσότερες από δώδεκα δημοφιλείς μηχανές αναζήτησης είναι διαθέσιμα σε έναν πίνακα ελέγχου. Οι δοκιμαζόμενες μηχανές περιλαμβάνουν Elasticsearch σε τέσσερις διαμορφώσεις, OpenSearch, ParadeDB, CrateDB, ArangoDB, TigerDB με παραλλαγές αποθήκευσης γραμμής και στήλης, και vanilla Postgres, με επιπλέον μηχανές που θα προστεθούν. Η χρονομέτρηση χρησιμοποιεί τρεις εκτελέσεις ανά ερώτημα, λαμβάνοντας το καλύτερο αποτέλεσμα από τις δύο τελευταίες εκτελέσεις. Ένα ερώτημα εκτελείται κάθε φορά από έναν μόνο πελάτη και η κρυφή μνήμη αποτελεσμάτων είναι απενεργοποιημένη. Ο πίνακας ελέγχου μετρά την καθυστέρηση αντί για την απόδοση.

Τα κελιά αποτελεσμάτων του πίνακα ελέγχου δείχνουν λόγους απόδοσης σε σχέση με την ταχύτερη μηχανή για κάθε ερώτημα, όπου το ταχύτερο αποτέλεσμα ισούται με 1.0x. Η συνολική βαθμολογία υπολογίζεται ως ο γεωμετρικός μέσος όρος αυτών των 92 λόγων ανά ερώτημα. Το SereneDB εξηγεί ότι αυτή η τυπική μέθοδος μέσου όρου λόγων αποτρέπει ένα μεμονωμένο ακραίο ερώτημα από το να στρεβλώσει τα αποτελέσματα.

Το SereneDB επιτυγχάνει γεωμετρικό μέσο όρο 1.05x στο σύνολο δεδομένων 100 εκατομμυρίων εγγραφών και 1.07x στο σύνολο δεδομένων 1 δισεκατομμυρίου εγγραφών. Σε όλα τα 92 ερωτήματα, είναι είτε η ταχύτερη μηχανή είτε εντός λίγων ποσοστών από την κορυφαία ταχύτητα. Το ElasticSearch κατατάσσεται δεύτερο με γεωμετρικό μέσο όρο 2.8x στο σύνολο δεδομένων 100 εκατομμυρίων. Η στήλη αποθήκευσης TigerData σκοράρει 2.24x στο σύνολο δεδομένων 1 δισεκατομμυρίου, με πολυάριθμα χρονικά όρια. Το Vanilla Postgres φτάνει 204x στο σύνολο δεδομένων 100 εκατομμυρίων και 50.69x στο σύνολο δεδομένων 1 δισεκατομμυρίου.

Για να απλοποιήσουμε τη σύγκριση μεταξύ παρόχων πέρα από την πολύπλοκη προβολή του πίνακα ελέγχου, δημιουργήσαμε ένα διάγραμμα που δείχνει ταξινομημένες βαθμολογίες γεωμετρικού μέσου όρου από τη συγκριτική δοκιμή 100 εκατομμυρίων με βάση δεδομένα στιγμιότυπου οθόνης.

Τα κενά απόδοσης είναι εξαιρετικά μεγάλα, οπότε αποκλείσαμε βαθμολογίες άνω του 10 και ξανασχεδιάσαμε το διάγραμμα. Όπως δηλώνει το SereneDB, η μηχανή αναζήτησής του οδηγεί την ομάδα που δοκιμάστηκε.

Ίδρυση και χρηματοδότηση SereneDB

Το SereneDB ιδρύθηκε στο Βερολίνο το 2025 από τους Alexander Malandin, CEO με προηγούμενη εμπειρία πωλήσεων σε επιχειρήσεις στην EMC, Dell και ArangoDB. Andrey Abramov, CTO με υπόβαθρο R&D αναζήτησης στην Quest Software, EMC και ArangoDB. και Valery Mironov, βασικός μηχανικός προηγουμένως στην ArangoDB και YDB. Η ομάδα μηχανικών οκτώ ατόμων συνεργάζεται για περισσότερα από 16 χρόνια. Ο πυρήνας αναζήτησής του IResearch αναπτύσσεται από το 2014.

Η startup ανακοίνωσε 2,1 εκατομμύρια δολάρια σε προ-σπόρο χρηματοδότηση τον Δεκέμβριο του 2025, με επικεφαλής τους Entourage και High-Tech Gründerfonds.

Το SereneDB Krummelanke είναι ανοιχτού κώδικα υπό την άδεια Apache 2.0 και διαθέσιμο στο GitHub.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Επιχειρηματική Εστίαση:
Διανομή Προϊόντων ICT/Ολοκλήρωση Συστημάτων & Υπηρεσίες/Λύσεις Υποδομών
Με πάνω από 20 χρόνια εμπειρίας στη διανομή IT, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για να παρέχουμε αξιόπιστα προϊόντα και επαγγελματικές υπηρεσίες.
«Χρησιμοποιώντας την Τεχνολογία για να Χτίσουμε έναν Έξυπνο Κόσμο» Ο Αξιόπιστος Πάροχος Υπηρεσιών Προϊόντων ICT σας!