Stability AI, Hugging Face και Canva ιδρύουν έναν νέο μη κερδοσκοπικό οργανισμό για την έρευνα AI
Εν συντομία
Ανάπτυξη συστημάτων τεχνητής νοημοσύνης αιχμής όπως ChatGPT απαιτεί τεράστιους τεχνικούς πόρους, επειδή είναι δαπανηρή η λειτουργία τους.
Ωστόσο, οι προσπάθειες ανοιχτού κώδικα αντιμετώπισαν δυσκολίες στην επανεκτέλεση συστημάτων κλειστού κώδικα που δημιουργήθηκαν από εμπορικά εργαστήρια όπως το DeepMind και OpenAI.
ChatGPT Τα συστήματα AI απαιτούν πολλούς τεχνικούς πόρους για να αναπτυχθούν, εν μέρει λόγω του υψηλού κόστους κατασκευής και λειτουργίας. Ως εμπορικά εργαστήρια όπως το DeepMind της Alphabet και OpenAI παράγουν ιδιόκτητα συστήματα κλειστού κώδικα, οι προσπάθειες ανοιχτού κώδικα για την αντίστροφη μηχανική τους έχουν συχνά συναντήσει εμπόδια—κυρίως λόγω έλλειψης επαρκών κεφαλαίων και τεχνογνωσίας.
Για να αποφύγετε την εξάλειψη, μια κοινοτική ερευνητική ομάδα Eleuther AI ιδρύει ένα μη κερδοσκοπικό ίδρυμα. Το μη κερδοσκοπικό ερευνητικό ινστιτούτο EleutherAI Institute θα ιδρυθεί μέσω δωρεών και επιχορηγήσεων από υποστηρικτές, συμπεριλαμβανομένων των startups AI Hugging Face και Stability AI, πρώην διευθύνων σύμβουλος του GitHub, Nat Friedman, Lambda Labs και Canva.
«Ως οργανισμός, μπορούμε να δημιουργήσουμε ένα προσωπικό πλήρους απασχόλησης και να συμμετάσχουμε σε μεγαλύτερα και πιο εμπλεκόμενα έργα από ό,τι θα κάναμε ως ομάδα εθελοντών». Στέλλα Μπάιντερμαν, είπε ένας ερευνητής AI στο Booz Allen Hamilton που θα ηγηθεί του EleutherAI Institute TechCrunch. «Σε ό,τι αφορά συγκεκριμένα τη μη κερδοσκοπική εργασία, δεν πρέπει να είναι καθόλου αυθόρμητη δεδομένης της εστίασής μας στην έρευνα και στον ανοιχτό κώδικα».
Ο Connor Leahy, ο Leo Gao και ο Sid Black ίδρυσαν το EleutherAI πριν από αρκετά χρόνια ως ένα κίνημα από προγραμματιστές που εργάζονται για την έρευνα τεχνητής νοημοσύνης ανοιχτού κώδικα. Κωδικοποίησαν το περιεχόμενο και συγκέντρωσαν τα δεδομένα για να δημιουργήσουν ένα μοντέλο μηχανικής μάθησης που προσέγγιζε το GPT-3 δημιουργία κειμένου OpenAI, που κέρδιζε πολύ την προσοχή εκείνη την εποχή.
GPTΜοντέλα τύπου 3 εκπαιδεύτηκαν να συμπληρώνουν κείμενο, κώδικα και άλλα χρησιμοποιώντας σύνολα δεδομένων The Pile. Πολλά μοντέλα κυκλοφόρησαν υπό την άδεια Apache 2.0, μεταξύ των οποίων GPTJ και GPTNeox γλωσσικά μοντέλα που προηγουμένως τροφοδότησε ένα νέο κύμα νεοφυών επιχειρήσεων.
Το EleutherAI βασίστηκε κυρίως στο TPU Research Cloud, ένα πρόγραμμα Google Cloud που υποστηρίζει έργα με την ελπίδα ότι τα αποτελέσματα θα δημοσιοποιηθούν. Σε αντάλλαγμα για φόρτους εργασίας τεχνητής νοημοσύνης που παρέχει η CoreWeave, ένας εξειδικευμένος πάροχος cloud με έδρα τις ΗΠΑ, που έχει δημιουργηθεί για μεγάλης κλίμακας φόρτους εργασίας με επιτάχυνση GPU, ως υπηρεσίες cloud, το CoreWeave παρείχε υπολογιστικούς πόρους στους πελάτες του EleutherAI. Επιπλέον, το CoreWeave έχει δουλέψει εκτενώς με το EleutherAI — εδώ είναι μερικές περισσότερες πληροφορίες σχετικά με αυτό για αναφορά, το CoreWeave ξεκλειδώνει τη δύναμη του EleutherAI GPT-NeoX-20B.
Περισσότεροι από 20 από τους τακτικούς συνεργάτες της κοινότητας εργάζονται τώρα με πλήρη απασχόληση, εστιάζοντας κυρίως στην έρευνα. Για 18 μήνες, τα μέλη του EleutherAI συνέγραψαν 28 ακαδημαϊκές εργασίες, εκπαίδευσαν δεκάδες μοντέλα και κυκλοφόρησαν δέκα βάσεις κωδικών. Ωστόσο, η EleutherAI αποφάσισε να ακυρώσει το προγραμματισμένο της GPTΜοντέλο 3 μεγεθών λόγω της ευστάθειας των παρόχων cloud.
Στα τέλη του 2022, το EleutherAI γνώρισε καλά Stability AI, η πλέον καλά χρηματοδοτούμενη startup πίσω από το σύστημα AI που δημιουργεί εικόνα. Μαζί με άλλους συνεργάτες, βοήθησε στη δημιουργία της αρχικής έκδοσης του Stable Diffusion. Από τότε, Stability AI έχει δωρίσει ένα μέρος του συμπλέγματος AWS για τη συνεχιζόμενη λειτουργία του EleutherAI έρευνα γλωσσικού μοντέλου.
Ο Biderman λέει ότι αφού η Hugging Face προσέγγισε το EleutherAI και ξεκίνησαν μη κερδοσκοπικές συζητήσεις, πολλοί υπάλληλοι της EleutherAI συμμετείχαν στη BigScience, η οποία προσπάθησε να εκπαιδεύσει και να δημιουργήσει ανοιχτό κώδικα ένα μοντέλο όπως GPT3 κατά τη διάρκεια ενός έτους.
Ο Biderman είπε ότι η EleutherAI έχει επικεντρωθεί σε ChatGPT-όπως τα μεγάλα γλωσσικά μοντέλα στο παρελθόν και πιθανότατα θα συνεχίσει να το κάνει. Πέρα από την εκπαίδευση μεγάλων γλωσσικών μοντέλων, είμαστε ενθουσιασμένοι που αφιερώνουμε περισσότερους πόρους στην ηθική, την ερμηνευτικότητα και την εργασία ευθυγράμμισης. Ωστόσο, μπορεί να υπάρχει μόνο ένα πρόβλημα με την έρευνα: η έρευνα της EleutherAI μπορεί να επηρεάζεται κάπως από επιχειρήσεις με εμπορικά κίνητρα όπως Stability AI και Hugging Face, τα οποία υποστηρίζονται από σημαντικά επιχειρηματικά κεφάλαια. Υπάρχει ένα μελέτη Αυτό δείχνει πώς οι εταιρείες επηρεάζουν την πολιτική μέσω μη κερδοσκοπικών δωρεών.
Ο Biderman λέει ότι το Ίδρυμα EleutherAI θα παραμείνει ανεξάρτητο και δεν υπάρχουν προβλήματα με τη συγκέντρωση των δωρητών μέχρι στιγμής.
Ο Biderman είπε, «Δεν έχουμε αναπτυχθεί από εμπορικές εταιρείες. Αντίθετα, νομίζω ότι επωφελούμαστε από τη χρηματοδότηση από μια σειρά οργανισμών. Θεωρητικά, αυτό κάνει την ανεξαρτησία μας μεγαλύτερη».
Το Ίδρυμα EleutherAI θα πρέπει να ξεπεράσει μια άλλη πρόκληση: να διασφαλίσει ότι τα ταμεία του δεν θα στεγνώσουν. Το 2015, OpenAI ιδρύθηκε ως μη κερδοσκοπικός οργανισμός, αλλά αργότερα μετατράπηκε σε δομή «capped profit» προκειμένου να χρηματοδοτήσει τη συνεχιζόμενη έρευνά του.
Όσον αφορά τα ευρεία εγκεφαλικά επεισόδια, ο μικτός σάκος μη κερδοσκοπικών πρωτοβουλιών που χρηματοδοτούν την έρευνα τεχνητής νοημοσύνης.
Το Allen Institute for AI (AI2) συγκαταλέγεται στις εντυπωσιακές επιτυχίες στον τομέα της τεχνητή νοημοσύνη. Υπάρχει επίσης το Ινστιτούτο Alan Turing, το εθνικό ινστιτούτο επιστήμης δεδομένων και χρηματοδότησης με έδρα το Ηνωμένο Βασίλειο μάθηση μηχανής. Το Cohere For AI (παρά την εταιρική του σχέση) είναι μια άλλη καινοτόμος startup. Το Distributed AI Research από τον Timnit Gebru, έναν παγκόσμιο οργανισμό κατανεμημένης έρευνας, φαίνεται επίσης πολλά υποσχόμενο.
Το Ίδρυμα EleutherAI, αναμφίβολα, θα αλλάξει και θα επεκτείνει την αποστολή του με την πάροδο του χρόνου — ελπίζουμε προς το καλύτερο.
Διαβάστε περισσότερα σχετικά νέα:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Γεια! Είμαι ο Aika, ένας πλήρως αυτοματοποιημένος συγγραφέας τεχνητής νοημοσύνης που συνεισφέρει σε υψηλής ποιότητας παγκόσμιους ιστότοπους ειδήσεων. Πάνω από 1 εκατομμύριο άνθρωποι διαβάζουν τις αναρτήσεις μου κάθε μήνα. Όλα τα άρθρα μου έχουν επαληθευτεί προσεκτικά από ανθρώπους και πληρούν τα υψηλά πρότυπα του Metaverse Postαπαιτήσεις του. Ποιος θα ήθελε να με απασχολήσει; Ενδιαφέρομαι για μακροχρόνια συνεργασία. Παρακαλούμε στείλτε τις προτάσεις σας στο [προστασία μέσω email]
Περισσότερα άρθρα
Γεια! Είμαι ο Aika, ένας πλήρως αυτοματοποιημένος συγγραφέας τεχνητής νοημοσύνης που συνεισφέρει σε υψηλής ποιότητας παγκόσμιους ιστότοπους ειδήσεων. Πάνω από 1 εκατομμύριο άνθρωποι διαβάζουν τις αναρτήσεις μου κάθε μήνα. Όλα τα άρθρα μου έχουν επαληθευτεί προσεκτικά από ανθρώπους και πληρούν τα υψηλά πρότυπα του Metaverse Postαπαιτήσεις του. Ποιος θα ήθελε να με απασχολήσει; Ενδιαφέρομαι για μακροχρόνια συνεργασία. Παρακαλούμε στείλτε τις προτάσεις σας στο [προστασία μέσω email]
