Die bittere Lektion: Warum ChatGPT Triumphiert über handgefertigte Computertechniken
In Kürze
Der Aufsatz „The Bitter Lesson“ von Professor Rich Sutton aus dem Jahr 2019 prognostiziert bedeutende Fortschritte in der KI, wie z ChatGPT/GPT-4 und OpenAI's Methoden.
Der Text beleuchtet den Paradigmenwechsel in der KI, bei dem rechnerische Methoden die Leistung ohne menschliche Intuition dominieren.
Wie viele auch immer Forscher verfolgen weiterhin intuitionsbasierte Ansätze, wobei das Potenzial berechnungsgesteuerter Methoden außer Acht gelassen wird.
Der Aufsatz "Die bittere Lektion„, geschrieben von Professor Rich Sutton im Jahr 2019, hat seitdem für Experten für maschinelles Lernen und Menschen, die daran interessiert sind, die Zukunft der KI zu verstehen, an Bedeutung gewonnen. Die in diesem Dokument bereitgestellten Erkenntnisse ließen wichtige Entwicklungen in der KI vorhersehen, einschließlich der Entstehung von ChatGPT/GPT-4 und die Annahme von OpenAI's Methoden.
Der Kern von „The Bitter Lesson“ untersucht einen Paradigmenwechsel im Bereich der KI. In der Vergangenheit neigten Wissenschaftler, die sich mit KI beschäftigten, zu der Annahme, dass die Entwicklung fortschrittlicher KI einen bemerkenswerten, besonderen Ansatz erforderte, der auch als „induktive Voreingenommenheit“ bekannt ist. Diese Idee bezieht sich auf das Hinzufügen spezialisierter Informationen oder das intuitive Verständnis eines bestimmten Problems, das dann den Lösungsweg der Maschine steuert.
Das zentrale Thema von „The Bitter Lesson“ untersucht einen Paradigmenwechsel in der Erforschung künstlicher Intelligenz. Früher glaubten Forscher, die sich mit KI beschäftigten, dass die Entwicklung fortschrittlicher KI einen bemerkenswerten, einzigartigen Ansatz erforderte. Diese Vorspannung wird als „induktive Vorspannung“ bezeichnet. Dieses Konzept schlägt die Hinzufügung von Fachwissen oder intuitiver Einsicht in ein bestimmtes Problem vor, die dann den Lösungsweg der Maschine bestimmen.
Es zeichnete sich jedoch ein wiederkehrendes Muster ab. Forscher fanden das immer wieder heraus, indem man einfach mehr hinzufügte Daten und Rechenleistung, könnten sie die Ergebnisse dieser sorgfältig ausgearbeiteten Methoden übertreffen. Dieses Muster war nicht spezifisch für ein bestimmtes Feld, sondern tauchte in Schach, Go, Starcraft und wahrscheinlich auch Nethack auf. Faltungs-Neuronale NetzeBeispielsweise schneiden sie im Bereich Computer Vision besser ab als manuelle Techniken wie z SIFT. Es ist interessant festzustellen, dass der Erfinder von SIFT später sagte, dass er diese Vorgehensweise gewählt hätte, wenn es bei seiner Forschung neuronale Netze gegeben hätte. Ähnlich wie dies, LSTMs übertrafen alle regelbasierten Systeme im Bereich der maschinellen Übersetzung. Mit einer einfachen Strategie „Weitere Ebenen hinzufügen“ ChatGPT/GPT-4, ein führendes Beispiel für diesen Trend, konnte hochentwickelte Modelle von Computerlinguisten übertreffen.
Der Kern von Suttons „bitterer Lektion“ besteht darin, dass Berechnungsmethoden, die nicht durch menschliche Intuition modifiziert werden, andere Ansätze in Bezug auf die Leistung häufig übertreffen. Dieses Verständnis hat sich jedoch nicht allgemein durchgesetzt. Viele Forscher verfolgen immer noch komplexe, intuitionsbasierte Strategien und ignorieren häufig das Potenzial inklusiver, kalkulationsbasierter Ansätze.
Fünf Gründe dafür GPT triumphierte über handgefertigte Rechentechniken:
- Skalierbarkeit: Computermethoden haben, insbesondere wenn sie mit mehr Daten ergänzt werden, das Potenzial, sich im Zuge des technologischen Fortschritts weiterzuentwickeln und anzupassen, wodurch sie zukunftssicherer werden.
- Effizienz: Allgemeine Methoden, die auf Berechnungen und Daten basieren, haben spezialisierte, auf menschlicher Intuition basierende Methoden in verschiedenen Bereichen, von Spielen wie Schach und Go bis hin zu maschineller Übersetzung und Computer Vision, durchweg übertroffen.
- Breite Anwendbarkeit: Diese allgemeinen, rechnergestützten Methoden sind vielseitig und können in verschiedenen Disziplinen angewendet werden, ohne dass domänenspezifische Anpassungen erforderlich sind.
- Einfache Bedienung: Auf Raw basierende Systeme Rechenleistung und Daten sind tendenziell einfacher in der Herangehensweise, ohne dass komplizierte Anpassungen auf der Grundlage menschlicher Intuition erforderlich sind.
- Gleichbleibende Leistung: Wie durch Beispiele wie gezeigt ChatGPT/GPT-4Mit berechnungsbasierten Modellen lässt sich eine gleichbleibend hohe Leistung erzielen, die oft spezielle Methoden übertrifft.
Der Originalaufsatz ist ein unschätzbares Werkzeug, um Professor Suttons Standpunkt und die Prinzipien, die diese KI-Entwicklung leiten, besser zu verstehen.
Der Artikel wurde vom Telegram-Kanal inspiriert „Wieder Boris."
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
