Guanaco entwickelt sich zu einer potenziellen Open-Source-Quelle ChatGPT Wettbewerber
In Kürze
Guanaco, ein Open-Source-Chatbot, der von Forschern der University of Washington entwickelt wurde, möchte mit ihm konkurrieren ChatGPT und erfordert gleichzeitig weniger Zeit und Geld für die Schulung.
Eine neue Studie hat jedoch die Wirksamkeit von Modellen wie Alpaca in Frage gestellt.
Forscher der University of Washington haben enthüllt Guanaco, ein Open-Source-Chatbot, der mit der Leistung von konkurrieren soll ChatGPT Gleichzeitig wird der Zeit- und Ressourcenaufwand für die Schulung deutlich reduziert. Benannt nach einem südamerikanischen Verwandten von llamas, Guanaco ist auf dem gebaut LLaMA Sprachmodell und beinhaltet eine neuartige Feinabstimmungsmethode namens QLoRA.
Die Erfinder von Guanaco behaupten, dass es eine vergleichbare Leistung erzielt ChatGPT kann aber an nur einem Tag trainiert werden. Möglich wird diese bemerkenswerte Leistung durch QLoRA, eine Technik zur Feinabstimmung des Sprachmodells, die den für das Training benötigten GPU-Speicher erheblich reduziert. Während ChatGPT erfordert satte 780 GB GPU-Speicher Für ein Modell mit 65 Milliarden Parametern benötigt die einfachste Version von Guanaco nur 5 GB.
Mit diesen beeindruckenden Effizienzsteigerungen stellen Guanaco und ähnliche Open-Source-Modelle die Vorstellung in Frage, dass hierfür teure Schulungen erforderlich sind modernste Sprachmodelle. Die Entstehung von Guanako, Alpaka und andere Modelle Dieser Zug zu einem Bruchteil der Kosten hat zu Spekulationen über die Zukunft teurer Modelle wie … geführt GPT.
Allerdings sind nicht alle mit dieser optimistischen Sicht auf Open-Source-Modelle einverstanden. Eine aktuelle Studie der University of California hat Zweifel aufkommen lassen über die Fähigkeiten von Modellen wie Alpakas und warf Fragen nach ihrem wahren Potenzial auf. Zunächst kamen die Forscher zu einem ähnlichen Schluss wie die Macher von Guanaco: Wenn sie richtig trainiert werden, können Open-Source-Modelle mithalten GPT an Fähigkeiten. Weitere Tests ergaben eine erhebliche Einschränkung. Diese „Dolly“-Modelle, wie sie manchmal genannt werden, sind geschickt darin, Lösungen für Probleme nachzuahmen, auf die sie während des Trainings gestoßen sind. Allerdings fällt es ihnen schwer, bei Aufgaben, denen sie nicht explizit ausgesetzt waren, eine gute Leistung zu erbringen, sodass sie hinter fortgeschritteneren Modellen zurückbleiben.
Diese Offenbarung legt nahe, dass die Millionen in Ausbildung investiert GPT und ähnliche Modelle waren vielleicht nicht umsonst. Während Guanaco und seine Gegenstücke vielversprechende Ergebnisse zeigen, gibt es immer noch Bereiche, in denen anspruchsvollere Modelle übertreffen. Es ist erwähnenswert, dass die Forschung der University of California stellt die vorherrschende Vorstellung in Frage, dass Open-Source-Modelle teure Modelle vollständig ersetzen können GPT.
Da sich der Bereich der Verarbeitung natürlicher Sprache weiterentwickelt, wird es interessant sein zu beobachten, wie Guanaco und andere Open-Source-Modelle im Vergleich zu etablierten Modellen abschneiden Benchmarks wie z ChatGPT. Die hohe Innovationsrate und die kontinuierliche Forschung werden sich zweifellos auf die Zukunft von Sprachmodellen auswirken und darüber entscheiden, welche Modelle für bestimmte Anwendungen zur ersten Wahl werden.
- Dolly 2.0, das erste kommerziell verfügbare Open-Source-12B-Chat-LLM, wurde angekündigt von Databricks. Dies ist ein bedeutender Fortschritt für die Branche des maschinellen Lernens, der es Unternehmen ermöglicht, effektive Sprachmodelle zu erstellen, ohne in kostspielige GPU-Cluster zu investieren. Databricks beauftragte 5,000 Mitarbeiter mit der Erstellung seines Open-Source-Sprachmodells, das das Pythia-12B-Sprachmodell von EleutherAI unter einer MIT-Lizenz umfasste. Dolly 2.0 sowie der zugehörige Code sind unter einer MIT-Lizenz verfügbar. Dolly 2.0 hat das Potenzial, die Branche zu verändern und ist ein bedeutender Fortschritt für maschinelles Lernen.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
