Η υιοθέτηση της τεχνητής νοημοσύνης παρεμποδίζεται επί του παρόντος από τις υψηλές δαπάνες για τα τόκεν και την έλλειψη σαφήνειας των προκαθορισμένων τιμών για τα αιτήματα τεχνητής νοημοσύνης, με αποτέλεσμα την ανεξέλεγκτη υπερβολική δαπάνη για τα τόκεν.Αυτός ο κίνδυνος ενισχύεται δραστικά από τους πράκτορες της τεχνητής νοημοσύνης., οι οποίες λειτουργούν επί του παρόντος χωρίς ενσωματωμένους περιορισμούς κόστους token και μπορούν να προκαλέσουν ακραίες εκρήξεις κόστους.
Αυτό το άρθρο εξηγεί τι είναι τα τόκεν τεχνητής νοημοσύνης, πώς λειτουργεί η τιμολόγηση των τόκεν και οι πρακτικές στρατηγικές για την πρόληψη καταστροφικών δαπανών των τόκεν.Μια καλά τεκμηριωμένη επιχειρηματική περίπτωση είδε έναν οργανισμό να συσσωρεύει $500,000Η Uber ανακοίνωσε ότι έχει εξαντλήσει ολόκληρο τον προϋπολογισμό της AI για το 2026 πριν από το χρονοδιάγραμμα.Τα tokens είναι οι θεμελιώδεις μονάδες που χρησιμοποιούν τα μεγάλα γλωσσικά μοντέλα (LLM) και τα chatbots για να διαλύσουν τις προκλήσεις της ανθρώπινης γλώσσας και να παράγουν συνεκτικές εξόδους AI.
Για παράδειγμα, η προειδοποίηση εισαγωγής "Πες μου για την ιζηματοποίηση" χωρίζεται σε διακριτά συστατικά:
-Πες μου.
- Εμένα.
- Περίπου.
- ιζήματα
-αποκατάσταση
Η ανάλυση αυτή των πέντε σημείων για τη λέξη "κατασκηνώσεις" βοηθά τους LLM να ερμηνεύσουν με ακρίβεια τη δομή και το νόημα των λέξεων.Η διαίρεση της ρίζας και του προθεσμιού επιτρέπει στο μοντέλο να αναγνωρίσει τη συνεπή χρήση του προθεσμιού σε πολλά ουσιαστικάΗ προσέγγιση αυτή περιορίζει το πεδίο αναζήτησης του μοντέλου στη βάση δεδομένων του,μειώνοντας το χρόνο επεξεργασίας αντί να σαρώνετε κάθε λέξη που περιέχει επαφή ξεχωριστά.
Ως βασικές μονάδες δεδομένων, τα tokens μετατρέπονται σε ενσωματώσεις διανυσματικών μαθηματικών αριθμητικών χορδών που κωδικοποιούν το σημασιολογικό νόημα και αποθηκεύονται σε δείκτες μοντέλων.το μοντέλο παράγει πολλαπλούς διανυστικούς για την αναπαράσταση των πολυδιάστατων χαρακτηριστικών τουΑυτά τα μοναδικά σύνολα φορέων διακρίνουν την γάτα από άψυχα αντικείμενα, άλλα είδη ζώων όπως σκυλιά και τίγρεις,και συνθετικά παιχνίδια γάτας.
Μια υποθετική πενταδιάστατη ενσωμάτωση διανυσμάτων για τον όρο ·cat· μπορεί να εκφραστεί ως [1.5-0.4, 7.2, 19.6, 20.2].
Όλα τα δεδομένα των διανυσμάτων υπάρχουν σε έναν ενοποιημένο διανυσματικό χώρο, επιτρέποντας στα μοντέλα να προσδιορίζουν σημασιολογικά παρόμοιο περιεχόμενο μετρώντας την χωρική εγγύτητα μεταξύ των σημείων των διανυσμάτων.
Μόλις μετατραπούν σε διανυσματικούς παράγοντες, τα tokens υποβάλλονται σε επεξεργασία σε ακριβούς διακομιστές GPU εξοπλισμένους με μνήμη υψηλού εύρους ζώνης.Ένα NVIDIA DGX SuperPOD με 32 κόμβους και 256 συνολικές GPU κοστίζει μεταξύ 12 εκατομμυρίων και 20 εκατομμυρίων δολαρίωνΜια πιο προηγμένη αρχιτεκτονική αναφοράς με 140 κόμβους DGX H100, δικτύωση Quantum-2 InfiniBand, πλήρη υποδομή αποθήκευσης και δικτύου και υποστηρικτικά συστήματα μπορεί να υπερβούν τα 100 εκατομμύρια δολάρια.Τα σημαντικά αυτά έξοδα υποδομής αντανακλούνται άμεσα στα συστήματα τιμολόγησης των βασικών μοντέλων ιδρύσεων.
Οι κορυφαίοι πάροχοι LLM και chatbot, συμπεριλαμβανομένων των OpenAI και Anthropic, υιοθετούν μοντέλα χρέωσης βασισμένα σε tokens, με προβλέψιμους κανόνες μετατροπής token για κείμενο.Ένα αγγλικό σύμβολο ισοδυναμεί με περίπου τέσσερις χαρακτήρες ή 0.75 λέξεις, που σημαίνει ότι 750 λέξεις αντιστοιχούν περίπου σε 1.000 σήματα.,Η έξοδος της τεχνητής νοημοσύνης με 1.000 λέξεις καταναλώνει συνολικά περίπου 3.667 μάρκες.
Η υψηλότερη κατανάλωση token επεκτείνει άμεσα την καθυστέρηση απόκρισης της AI.Το παράθυρο περιεχομένου 000-tokens μπορεί να περιέχει περίπου 751000 αγγλικές λέξεις, ισοδύναμο με ένα βιβλίο 300 σελίδων.
Η ανεπαρκής χωρητικότητα παράθυρου περιεχομένου προκαλεί την απώλεια πληροφοριών περιεχομένου από τα LLM, οδηγώντας σε ελλιπείς ή ανακριβείς εξόδους τεχνητής νοημοσύνης.Το GPT-4o υποστηρίζει μέχρι 128,000 tokens, Claude 3.5 Sonnet φτάνει τα 200.000 tokens, και επιλέξτε Gemini 1.5 Pro οι επιχειρηματικοί χρήστες μπορούν να έχουν πρόσβαση σε ένα παράθυρο περιεχομένου 2 εκατομμυρίων token.
Η τιμολόγηση των tokens ποικίλλει μεταξύ των προμηθευτών μοντέλων.
Σύμφωνα με τα Intuition Labs, το OpenAI's ChatGPT API λειτουργεί σε μια καθαρή δομή χρέωσης βασισμένη σε tokens.με τα δείγματα εξόδου που συνήθως κοστίζουν περισσότεροΟι τιμές διαφέρουν επίσης ανάλογα με την κατάσταση της απόκρισης στην αποθήκευση. Κάθε κλήση API επιβαρύνει δύο ξεχωριστά τέλη: ένα για ταχεία εισερχόμενα σήματα και ένα για τα σήματα εξόδου που παράγονται από την τεχνητή νοημοσύνη.χρησιμοποιώντας ένα μοντέλο με τιμή 10 δολαρίων ανά εκατομμύριο tokens εξόδου για 100 tokens εισόδου και 400 tokens εξόδου οδηγεί σε έξοδα εισόδου 10 × 100/1,000,000) και έξοδα παραγωγής 10 × 400/1,000Το σύνολο των δαπανών είναι ίσο με το άθροισμα των δύο αριθμών.
Οι επιχειρήσεις μπορούν να εφαρμόσουν στοχευμένους ελέγχους διακυβέρνησης για να περιορίσουν τις δαπάνες για τα τόκεν, συμπεριλαμβανομένων των ποσοστώσεων ανά χρήστη ή κάθε θέσης, του περιορισμού της κυκλοφορίας βάσει χρήσης, των ορίων δαπανών ανά έργο,και περιορισμοί κατηγορίας μοντέλουΟ τομέας αυτός της διακυβέρνησης εξελίσσεται ραγδαία, καθώς οι προμηθευτές τεχνητής νοημοσύνης ανταγωνίζονται για τη βελτιστοποίηση της ποιότητας των υπηρεσιών, την εξισορρόπηση των ροών εσόδων και τον ανταγωνισμό με τα μοντέλα ανοιχτού κώδικα τεχνητής νοημοσύνης.
Χωρίς αυστηρούς επιχειρησιακούς φράκτες, οι αυτόνομοι πράκτορες μπορούν να προκαλέσουν μαζική, απρογραμμάτιστη κατανάλωση token.Εμπειρογνώμονες της βιομηχανίας συνιστούν να αντιμετωπίζονται οι πράκτορες τεχνητής νοημοσύνης ως ψηφιακοί υπάλληλοι, με τις ομάδες FinOps να εφαρμόζουν αυστηρή, 24ωρη παρακολούθηση των δαπανών για την αποφυγή καταστροφών κόστους.
Πεκίνο Qianxing Jietong Technology Co., Ltd.
Σάντι Γιανγκ, Διευθυντής Παγκόσμιας Στρατηγικής
WhatsApp / WeChat: +86 13426366826
Ηλεκτρονικό μήνυμα: yangyd@qianxingdata.com
Ιστοσελίδα: www.qianxingdata.com/www.storagesserver.com
Επικεντρώσου στις επιχειρήσεις:
Διανομή προϊόντων ΤΠΕ/Ενσωμάτωση συστημάτων και υπηρεσίες/Λύσεις υποδομής
Με 20+ χρόνια εμπειρίας διανομής πληροφορικής, συνεργαζόμαστε με κορυφαίες παγκόσμιες μάρκες για την παροχή αξιόπιστων προϊόντων και επαγγελματικών υπηρεσιών.
Χρησιμοποιώντας την τεχνολογία για την οικοδόμηση ενός ευφυούς κόσμουΟ αξιόπιστος πάροχος υπηρεσιών προϊόντων ΤΠΕ!
Το μήνυμά σας πρέπει να αποτελείται από 20-3.000 χαρακτήρες!
Greek
