Το Guanaco αναδεικνύεται ως ένα δυναμικό ανοιχτού κώδικα ChatGPT Ανταγωνιστής
Εν συντομία
Το Guanaco, ένα ανοιχτού κώδικα chatbot που αναπτύχθηκε από ερευνητές του Πανεπιστημίου της Ουάσιγκτον, φιλοδοξεί να ανταγωνιστεί ChatGPT ενώ απαιτούν λιγότερο χρόνο και χρήματα για την εκπαίδευση.
Μια νέα μελέτη, ωστόσο, αμφισβήτησε την αποτελεσματικότητα μοντέλων όπως το Alpaca.
Ερευνητές από το Πανεπιστήμιο της Ουάσιγκτον αποκάλυψαν Γκουανάκο, ένα ανοιχτού κώδικα chatbot που στοχεύει να ανταγωνιστεί την απόδοση του ChatGPT ενώ μειώνεται σημαντικά ο χρόνος και οι πόροι που απαιτούνται για την εκπαίδευση. Πήρε το όνομά του από έναν Νοτιοαμερικανό συγγενή του llamas, το Guanaco είναι χτισμένο στο LLaMA μοντέλο γλώσσας και ενσωματώνει μια νέα μέθοδο λεπτομέρειας που ονομάζεται QLoRA.
Οι δημιουργοί του Guanaco ισχυρίζονται ότι επιτυγχάνει συγκρίσιμες επιδόσεις με ChatGPT αλλά μπορεί να εκπαιδευτεί σε μία μόνο μέρα. Αυτό το αξιοσημείωτο κατόρθωμα καθίσταται δυνατό από την QLoRA, μια τεχνική λεπτομέρειας γλωσσικού μοντέλου που μειώνει σημαντικά την ποσότητα της μνήμης GPU που απαιτείται για την εκπαίδευση. Ενώ ChatGPT απαιτεί μια τεράστια μνήμη GPU 780 GB για ένα μοντέλο με 65 δισεκατομμύρια παραμέτρους, η απλούστερη έκδοση του Guanaco απαιτεί μόνο 5 GB.
Με αυτά τα εντυπωσιακά κέρδη απόδοσης, το Guanaco και παρόμοια μοντέλα ανοιχτού κώδικα αμφισβητούν την ιδέα ότι η δαπανηρή εκπαίδευση είναι απαραίτητη για γλωσσικά μοντέλα τελευταίας τεχνολογίας. Η εμφάνιση του Γκουανάκο, Αιγοκάμηλος, να άλλα μοντέλα ότι το τρένο με ένα κλάσμα του κόστους έχει οδηγήσει σε εικασίες για το μέλλον δαπανηρών μοντέλων όπως GPT.
Ωστόσο, δεν συμφωνούν όλοι με αυτήν την αισιόδοξη άποψη για τα μοντέλα ανοιχτού κώδικα. Μια πρόσφατη μελέτη που πραγματοποιήθηκε από το Πανεπιστήμιο της Καλιφόρνια έχει προκαλέσει αμφιβολίες σχετικά με τις δυνατότητες μοντέλων όπως τα αλπακά και έθεσε ερωτήματα σχετικά με τις πραγματικές δυνατότητές τους. Αρχικά, οι ερευνητές κατέληξαν σε ένα παρόμοιο συμπέρασμα με τους δημιουργούς του Guanaco: όταν είναι κατάλληλα εκπαιδευμένα, τα μοντέλα ανοιχτού κώδικα μπορούν να ανταγωνιστούν GPT στις ικανότητες. Περαιτέρω δοκιμές αποκάλυψαν σημαντικό περιορισμό. Αυτά τα μοντέλα «Dolly», όπως αποκαλούνται μερικές φορές, είναι ικανά να μιμούνται λύσεις σε προβλήματα που έχουν αντιμετωπίσει κατά τη διάρκεια της προπόνησης. Ωστόσο, δυσκολεύονται να αποδώσουν καλά σε εργασίες στις οποίες δεν έχουν εκτεθεί ρητά, υστερώντας σε σχέση με πιο προηγμένα μοντέλα.
Αυτή η αποκάλυψη υποδηλώνει ότι το εκατομμύρια επενδύσεις στην εκπαίδευση GPT και παρόμοια μοντέλα μπορεί να μην ήταν μάταια. Ενώ η Guanaco και οι ομόλογοί της επιδεικνύουν πολλά υποσχόμενα αποτελέσματα, εξακολουθούν να υπάρχουν τομείς όπου τα πιο εξελιγμένα μοντέλα υπερέχουν. Αξίζει να σημειωθεί ότι η έρευνα που πραγματοποιήθηκε από το Πανεπιστήμιο της Καλιφόρνια αμφισβητεί την επικρατούσα αντίληψη ότι τα μοντέλα ανοιχτού κώδικα μπορούν να αντικαταστήσουν πλήρως ακριβά μοντέλα όπως GPT.
Καθώς ο τομέας της επεξεργασίας φυσικής γλώσσας εξελίσσεται, θα είναι ενδιαφέρον να παρακολουθήσουμε πώς το Guanaco και άλλα μοντέλα ανοιχτού κώδικα ανταποκρίνονται στα καθιερωμένα σημεία αναφοράς όπως ChatGPT. Ο υψηλός ρυθμός καινοτομίας και η συνεχής έρευνα, χωρίς αμφιβολία, θα επηρεάσει το μέλλον των γλωσσικών μοντέλων και θα καθορίσει ποια μοντέλα θα γίνουν η καλύτερη επιλογή για συγκεκριμένες εφαρμογές.
- Dolly 2.0, το πρώτο εμπορικά διαθέσιμο ανοιχτού κώδικα 12B Chat-LLM, έχει ανακοινωθεί από Databricks. Αυτό είναι μια σημαντική πρόοδος για τη βιομηχανία μηχανικής εκμάθησης, επιτρέποντας στις επιχειρήσεις να δημιουργούν αποτελεσματικά μοντέλα γλώσσας χωρίς να επενδύουν σε δαπανηρές ομάδες GPU. Η Databricks προσέλαβε 5,000 υπαλλήλους για να δημιουργήσουν το μοντέλο γλώσσας ανοιχτού κώδικα, το οποίο περιελάμβανε το γλωσσικό μοντέλο Pythia-12B της EleutherAI με άδεια MIT. Το Dolly 2.0, καθώς και ο σχετικός κωδικός, είναι διαθέσιμος με άδεια MIT. Το Dolly 2.0 έχει τη δυνατότητα να αλλάξει τη βιομηχανία και είναι ένα σημαντικό βήμα προς τα εμπρός για τη μηχανική εκμάθηση.
Διαβάστε περισσότερα για το AI:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
