Einem Forscher zufolge werden die heutigen großen Sprachmodelle kleine Modelle sein OpenAI
Hyung Won Chung, ein erfahrener KI-Forscher, der früher bei Google Brain angestellt war und derzeit Mitglied der ist OpenAI Team, hielt eine zum Nachdenken anregende 45-minütige Rede, in der er die Welt der großen Sprachmodelle im Jahr 2023 erkundete. Chung verfügt über Erfahrung auf diesem Gebiet; Er war der erste Autor des Google-Artikels „Skalierung von anweisungsfein abgestimmten Sprachmodellen,„Hier wird untersucht, wie große Sprachmodelle darauf trainiert werden können, Anweisungen zu befolgen.
Chung betont, dass die Welt der umfangreichen Sprachmodelle dynamisch ist. In der Welt der LLMs entwickelt sich das Leitprinzip ständig weiter, im Gegensatz zu traditionellen Bereichen, in denen grundlegende Annahmen typischerweise stabil bleiben. Mit der kommenden Modellgeneration könnte möglich werden, was derzeit als unmöglich oder unpraktisch gilt. Er betont, wie wichtig es ist, den meisten Behauptungen über LLM-Fähigkeiten „vorerst“ voranzustellen. Ein Modell kann eine Aufgabe ausführen; es ist einfach noch nicht geschehen.
Große Modelle von heute werden in wenigen Jahren kleine Modelle sein
Hyung Won Chung, OpenAI
Die Notwendigkeit einer sorgfältigen Dokumentation und Reproduzierbarkeit in KI-Forschung ist eine der wichtigsten Lehren aus Chungs Rede. Es ist von entscheidender Bedeutung, die laufende Arbeit im Zuge der Entwicklung des Fachgebiets gründlich zu dokumentieren. Diese Strategie gewährleistet, dass Experimente schnell wiederholt und wiederholt werden können, sodass Forscher auf früheren Arbeiten aufbauen können. Durch diese Praxis wird anerkannt, dass sich in Zukunft möglicherweise Fähigkeiten entwickeln, die während der anfänglichen Forschung nicht praktikabel waren.
Chung widmet einen Teil seines Vortrags der Erläuterung der Feinheiten der Daten- und Modellparallelität. Für diejenigen, die tiefer in die technischen Aspekte der KI eintauchen möchten, bietet dieser Abschnitt wertvolle Einblicke in das Innenleben dieser Parallelitätstechniken. Das Verständnis dieser Mechanismen ist für die Optimierung von entscheidender Bedeutung groß angelegtes Modelltraining.
Chung geht davon aus, dass die aktuelle Zielfunktion Maximum Likelihood, die für das LLM-Vortraining verwendet wird, einen Engpass darstellt, wenn es darum geht, wirklich große Skalen zu erreichen, beispielsweise die 10,000-fache Kapazität von GPT-4. Mit fortschreitendem maschinellen Lernen werden manuell entworfene Verlustfunktionen zunehmend einschränkend.
Chung schlägt vor, dass das nächste Paradigma in der KI-Entwicklung darin besteht, Funktionen durch separate Algorithmen zu lernen. Obwohl dieser Ansatz noch in den Kinderschuhen steckt, verspricht er eine Skalierbarkeit über die aktuellen Einschränkungen hinaus. Er hebt auch laufende Bemühungen wie Reinforcement Learning from Human Feedback (RLHF) mit Regelmodellierung als Schritte in diese Richtung hervor, obwohl noch Herausforderungen zu bewältigen sind.
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
