Forscher stellen die Vorstellung der „neuen Fähigkeiten“ großer Sprachmodelle in Frage
In Kürze
Die AGI-Apokalypse gibt aufgrund des plötzlichen Phänomens großer Sprachmodelle Anlass zur Sorge Fähigkeiten unter Beweis stellen das scheinen kleinere Modelle nicht zu haben.
Dieses Phänomen wird als „aufkommende Fähigkeiten großer Sprachmodelle“ bezeichnet.
Die Autoren des Artikels „Are Emergent Abilities of Large Language Models a Fata Morgana?“ argumentieren, dass die Wirkung neu entstehender Fähigkeiten keine Fata Morgana ist, sondern eher ein vorhersehbares Wachstum der Fähigkeit, Aufgaben auszuführen.
Sie zeigen, dass mindestens 92 % der Big-Bench-Probleme bei großen Modellen keinen plötzlichen Durchbruch haben und die Qualität ihrer Modelle mit zunehmender Größe der Modelle reibungslos und vorhersehbar zunimmt.
In einer aktuellen Untersuchung der potenziellen Fähigkeiten großer Sprachmodelle stellen Forscher den Begriff „neu entstehender Fähigkeiten“ in Frage und beleuchten einen vorhersehbareren Aspekt ihrer Funktionalität. Der Artikel mit dem Titel „Enthüllung der Realitäten der neuen Fähigkeiten großer Sprachmodelle” macht auf die Fehlinterpretation von Metriken aufmerksam, die zu der falschen Annahme geführt hat, dass diese Modelle spontan fortgeschrittene Fähigkeiten erwerben.
Das Konzept von "neue Fähigkeiten” im Kontext großer Sprachmodelle wie dem GPT Serie, hat Bedenken hinsichtlich des Potenzials dieser Modelle geschürt, unvorhergesehene Fähigkeiten zu entwickeln, die dem menschlichen Bewusstsein ähneln. In diesem Artikel wird behauptet, dass diese Annahmen auf einem fehlerhaften Verständnis des tatsächlichen Verhaltens und der Fähigkeiten der Modelle beruhten.
Das häufig beobachtete Phänomen, bei dem größere Modelle scheinbar neue Fähigkeiten wie abstraktes Denken, Problemlösung und sogar Humor erwerben, wurde als „neu entstehende Fähigkeiten großer Sprachmodelle“ bezeichnet. Die Autoren des Artikels behaupten, dass diese Fähigkeiten nicht so spontan sind, wie sie scheinen, sondern vielmehr das Ergebnis irreführender Bewertungsmaßstäbe sind.
Um ihren Standpunkt zu veranschaulichen, betrachten die Forscher die Aufgabe „Rätsel erraten“, ein Problem, bei dem das Sprachmodell ein Rätsel in natürlicher Sprache verstehen und mit der richtigen Antwort in natürlicher Sprache antworten muss. Traditionell wird die Qualität von Antworten mithilfe einer binären Metrik bewertet: Einer Antwort wird eine Bewertung von 1 zugewiesen, wenn sie genau mit der richtigen Antwort übereinstimmt, andernfalls wird eine Bewertung von 0 vergeben.
Der Knackpunkt liegt in der Sensibilität der Metrik gegenüber der Komplexität der Aufgabe und der Anzahl der Modellparameter. Die Forscher zeigen, dass diese binäre Metrik zu a führt trügerische Wahrnehmung von „neuen Fähigkeiten“. Kleinere Modelle weisen bei dieser Metrik oft eine vernachlässigbare Genauigkeit (eps) auf, während größere Modelle, insbesondere solche mit einer hohen Parameteranzahl, bemerkenswerte Genauigkeitsniveaus (acc > 0.5) zu erreichen scheinen.
In dem Artikel wird behauptet, dass diese offensichtliche Veränderung der Fähigkeiten kein Hinweis darauf ist, dass Modelle sich spontan komplexe Fähigkeiten aneignen. Stattdessen beruht die Fähigkeit der Modelle, differenziertere Antworten zu verstehen und zu generieren, auf einer sorgfältigeren Bewertung ihrer Ergebnisse. Indem sie sich auf probabilistisches Matching und semantische Kohärenz statt auf exakte String-Matches konzentrieren, zeigen die Forscher, dass die Weiterentwicklung der Modelle in der Leistung folgt einem logischeren Verlauf, unabhängig von ihrer Größe.
Untersuchung der Modellleistungsentwicklung bei sich ändernden Parametern
In einer analytischen Untersuchung decken Forscher die subtilen Mechanismen hinter den wahrgenommenen „aufkommenden Fähigkeiten“ von auf große Sprachmodelle. Die Studie hinterfragt den Einfluss superdiskreter Metriken bei der Bewertung der Modellleistung und verdeutlicht ein prädiktiveres Verständnis ihrer Fähigkeiten, wenn sich die Modellparameter erweitern.
Die vorherrschende Vorstellung von „neu entstehenden Fähigkeiten“ in expansiven Sprachmodellen hat Diskussionen angeregt und Bedenken hinsichtlich möglicher Durchbrüche geweckt. Diese Studie versucht, die diesem Phänomen zugrunde liegenden Mechanismen zu entschlüsseln und zu entschlüsseln, ob diese Modelle tatsächlich plötzliche, beispiellose Fähigkeiten aufweisen oder ob diese wahrgenommenen Fortschritte auf eine andere Ursache zurückgeführt werden können.
Im Mittelpunkt der Studie steht eine sorgfältige Auswertung der zur Messung der Modellleistung verwendeten Metriken. Die Forscher behaupten, dass die Verwendung superdiskreter Metriken, insbesondere der herkömmlichen binären Metrik, die exakte String-Übereinstimmungen bestimmt, die Interpretation großer Zahlen verzerren könnte Sprachmodellfähigkeiten. Die Studie analysiert sorgfältig, wie sich die Wahrscheinlichkeitsverteilung modellgenerierter Antworten mit der Skalierung der Modellparameter entwickelt.
Entgegen der Vorstellung „neu entstehender Fähigkeiten“ zeigt die Studie einen eher systematischen Trend. Mit zunehmender Größe des Modells verbessert sich seine Fähigkeit, passenden Antworten höhere Wahrscheinlichkeiten und falschen Antworten niedrigere Wahrscheinlichkeiten zuzuordnen. Dies spiegelt eine konsequente Verbesserung der Fähigkeit des Modells wider, Probleme über einen weiten Größenbereich hinweg geschickt zu lösen. Im Wesentlichen legen die Untersuchungen nahe, dass der Lernprozess der Modelle einem gut strukturierten Prozess folgt.defiEs handelte sich eher um einen Pfad der Verbesserung als um einen plötzlichen Sprung.
Die Autoren leiten einen Paradigmenwechsel ein, indem sie die Ersetzung diskreter Metriken durch kontinuierliche Metriken vorschlagen. Diese Änderung bietet ein klareres Bild der Leistungsentwicklung. Durch ihre Analyse stellen die Forscher fest, dass etwa 92 % der Große Bankprobleme weisen mit zunehmender Modellgröße ein gleichmäßiges und vorhersehbares Qualitätswachstum auf. Dieser Befund stellt die Vorstellung in Frage, dass größere Modelle plötzliche Durchbrüche erleben, und unterstreicht stattdessen einen eher allmählichen und vorhersehbaren Fortschritt.
Die Studie erweitert ihre Erkenntnisse, um ihre Behauptungen zu bestätigen. Es zeigt, dass derselbe Effekt der „entstehenden Fähigkeit“ mit herkömmlichen Autoencodern künstlich simuliert werden kann, was darauf hindeutet, dass die Wahl der Metriken die wahrgenommenen Ergebnisse erheblich beeinflusst. Diese Enthüllung erweitert den Umfang der Implikationen der Studie und zeigt ihre Relevanz über die reinen Sprachmodelle hinaus.
Die Forscher betonen, dass dies bei ihren Ergebnissen nicht der Fall sei defiNegieren Sie nitiv das Potenzial für „entstehende Fähigkeiten“ oder Bewusstsein in großen Sprachmodellen. Ihre Ergebnisse ermutigen Forscher jedoch, solche Behauptungen aus einer differenzierten Perspektive zu betrachten. Anstatt voreilig zu extrapolieren und extreme Schlussfolgerungen zu ziehen, unterstreicht die Studie die Bedeutung einer sorgfältigen Untersuchung und umfassenden Analyse.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
