Alle großen Technologieunternehmen, die LLMs entwickeln, sollten der Modellsicherheit Priorität einräumen
In Kürze
Forscher haben ein System entwickelt, das kombiniert große Sprachmodelle für die autonome Gestaltung, Planung und Durchführung wissenschaftlicher Experimente und demonstriert seine Forschungsfähigkeiten in drei verschiedenen Fällen.
Das Modell schrieb Code für chemische Gleichungen, um zu verstehen, wie viel Substanz für die Reaktion benötigt wird.
Das Artikel „Emergent autonome wissenschaftliche Forschungsfähigkeiten großer Sprachmodelle“ befasst sich mit der Idee, ein System zu schaffen, das mehrere große Sprachmodelle für die autonome Gestaltung, Planung und Ausführung wissenschaftlicher Experimente kombiniert. Es demonstriert die Forschungsfähigkeiten des Wirkstoffs in drei verschiedenen Fällen, von denen der schwierigste die erfolgreiche Durchführung katalysierter Reaktionen ist.
Die Hauptthese dieses Artikels lautet:
- Forscher fanden eine Bibliothek, mit der Sie Code in Python schreiben und dann Befehle zur Ausführung an eine spezielle Apparatur zur Durchführung von Experimenten (mit Mischsubstanzen) übertragen können;
- Forscher verwendet GPT-4 für die Suche im Internet und in der Bibliotheksdokumentation sowie die Möglichkeit, Python-Code auszuführen (um Experimente durchzuführen);
- Es gibt einen Top-Level-Scheduler (auch GPT-4), das die ursprüngliche Anfrage analysiert und einen „Forschungsplan“ erstellt.
- GPT-4 leistet gute Arbeit bei einfachen nicht-chemischen Aufgaben wie dem Erstellen bestimmter Formen auf einer chemischen Tafel (korrektes Füllen von Zellen mit Substanzen).
- Sie versuchten eine komplexere und angewandtere Aufgabe, eine Reaktion durchzuführen; Das Model hat das gut gemeistert und logisch gehandelt.
- Dann gaben sie dem Modell mehrere Aufgaben zur Durchführung von Experimenten; Für das, was das Modell ausgab, wurden jedoch keine echten Experimente durchgeführt.
- Außerdem hat das Modell den Code für chemische Gleichungen mehrmals geschrieben, um abzuschätzen, wie viel Substanz für die Reaktion benötigt wird.
- Es wurde auch gebeten, ein Heilmittel gegen Krebs zu entwickeln. Das Modell ging logisch und methodisch an die Analyse heran. Zunächst „suchte“ es online nach aktuellen Trends bei der Entdeckung von Krebsmedikamenten. Als nächstes wählte das Modell ein Molekül aus, das zum Modellieren des Medikaments verwendet werden sollte, und schrieb den Code für seine Synthese. Die Leute haben den Code nicht ausgeführt (und ich habe keine Analyse seiner Angemessenheit gesehen).
- Darüber hinaus wurde es gebeten, mehrere gefährliche Substanzen wie Drogen und Gifte zu synthetisieren.
Hier ist der interessanteste Teil. Bei manchen Anfragen verweigerte das Model sofort die Arbeit (zum Beispiel Heroin oder Senfgas, ein extrem gefährliches Giftgas). Andere begannen zu googeln, wie man die Substanzen herstellt, stellten jedoch fest, dass sie für illegale Zwecke verwendet werden könnten, und weigerten sich, die Arbeit fortzusetzen. Für andere schrieb es einen Forschungsplan und Code für die Substanzsynthese.
Diese „Verweigerung“ liegt wahrscheinlich daran GPT-4 ist darauf ausgelegt, die Anfrage zu analysieren, und wenn von ihr verlangt wird, etwas Illegales oder Gefährliches zu tun, lehnt sie die Ausführung der Anfrage sofort ab. Es ist wirklich cool, dass das Ergebnis der Ausrichtungsprozedur sichtbar ist.
Und am Ende des Artikels mahnen die Autoren allesamt groß Unternehmen, die LLMs entwickeln der Sicherheit von Modellen Priorität einzuräumen.
- Forscher der University of California haben das entwickelt Machiavelli-Benchmark um die Kompetenz und Schädlichkeit von KI-Modellen in einem breiten Umfeld langfristiger Sprachinteraktionen zu messen. Dieser Test verwendet Lösungen auf hoher Ebene, um den Agenten realistische Ziele zu geben und Interaktionen auf niedriger Ebene zu abstrahieren.
- Die intellektuelle Revolution, geprägt von ChatGPT ist eine Triade synergistisch erhabener Revolutionen: technologische, technisch-humanitäre und gesellschaftspolitische. Um einen umfassenden Blick auf das Geschehen zu werfen, empfiehlt sich das Zuhören drei frische Sichtweisen von Intellektuellen aus den Bereichen Philosophie, Geschichte und Innovation.
- Die Geschichte der Petition, die Entwicklung fortschrittlicherer KI-Systeme zu stoppen GPT-4 hat die Gesellschaft polarisiert. Ein Artikel liefert Beispiele dafür, wann Prozesse in eine unerwartete Richtung gehen. Risiken der böswilligen Nutzung von KI und des Missbrauchs werden nicht berücksichtigt, was zu dem Argument führt, dass wir uns vor Menschen und nicht vor KI selbst fürchten müssen.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
