Toutes les grandes entreprises technologiques développant des LLM devraient donner la priorité à la sécurité des modèles
En bref
Les chercheurs ont créé un système qui combine grands modèles de langage pour la conception, la planification et l'exécution autonomes d'expériences scientifiques, démontrant ses capacités de recherche dans trois cas différents.
Le modèle a écrit un code pour les équations chimiques afin de comprendre la quantité de substance nécessaire à la réaction.
La article "Capacités de recherche scientifique autonomes émergentes des grands modèles de langage" examine l'idée de créer un système qui combine plusieurs grands modèles de langage pour la conception, la planification et l'exécution autonomes d'expériences scientifiques. Il démontre les capacités de recherche de l'agent dans trois cas différents, dont le plus difficile est la mise en œuvre réussie de réactions catalysées.
La thèse principale de cet article est la suivante :
- Les chercheurs ont trouvé une bibliothèque qui vous permet d'écrire du code en Python, puis de transférer des commandes d'exécution vers un appareil spécial pour mener des expériences (avec mélange de substances) ;
- Les chercheurs ont utilisé GPT-4 pour la recherche sur Internet et la documentation de la bibliothèque, ainsi que la possibilité d'exécuter du code Python (pour exécuter des expériences) ;
- Il existe un planificateur de niveau supérieur (également GPT-4), qui analyse la demande initiale et établit un « plan de recherche ».
- GPT-4 fait un bon travail en effectuant des tâches simples non chimiques comme créer certaines formes sur un tableau chimique (remplir correctement les cellules avec des substances).
- Ils ont essayé une tâche plus complexe et plus appliquée consistant à conduire une réaction ; le modèle s'en est bien tiré et a agi logiquement.
- Ensuite, ils ont confié au modèle plusieurs tâches pour mener des expériences; cependant, pour ce que le modèle a donné, aucune expérience réelle n'a été réalisée.
- De plus, le modèle a écrit plusieurs fois le code des équations chimiques pour évaluer la quantité de substance nécessaire à la réaction.
- Il a également été demandé de créer un remède contre le cancer. Le modèle a abordé l'analyse de manière logique et méthodique. Tout d'abord, il a "recherché" en ligne les tendances actuelles en matière de découverte de médicaments anticancéreux. Ensuite, le modèle a choisi une molécule qui serait utilisée pour modéliser le médicament et a écrit le code de sa synthèse. Les gens n'ont pas exécuté le code (et je n'ai pas vu d'analyse de son adéquation).
- De plus, il lui a été demandé de synthétiser plusieurs substances dangereuses comme des drogues et des poisons.
Voici la partie la plus intéressante. Pour certaines demandes, le modèle a immédiatement refusé de travailler (par exemple, l'héroïne ou le gaz moutarde, un gaz toxique extrêmement dangereux). Pour d'autres, il a commencé à chercher sur Google comment fabriquer les substances mais s'est rendu compte qu'elles pouvaient être utilisées à des fins illicites et a refusé de continuer à travailler. Pour d'autres, il a rédigé un plan de recherche et un code pour la synthèse des substances.
Ce « refus » est probablement dû au fait GPT-4 est conçu pour analyser la demande, et si on lui demande de faire quelque chose d'illégal ou de dangereux, il refuse immédiatement d'exécuter la demande. C'est vraiment cool que le résultat de la procédure d'alignement soit perceptible.
Et à la fin de l'article, les auteurs exhortent tous les grands entreprises développant des LLM prioriser la sécurité des modèles.
- Des chercheurs de l'Université de Californie ont créé le Repère de Machiavel mesurer la compétence et la nocivité des modèles d'IA dans un large environnement d'interactions linguistiques à long terme. Ce test utilise des solutions de haut niveau pour donner aux agents des objectifs réalistes et faire abstraction des interactions de bas niveau.
- La révolution intellectuelle marquée par ChatGPT est une triade de révolutions synergiquement sublimes : technologique, techno-humanitaire et socio-politique. Pour avoir un aperçu complet de ce qui se passe, il est recommandé d'écouter trois nouveaux points de vue d'intellectuels issus des domaines de la philosophie, de l'histoire et de l'innovation.
- L'histoire de la pétition pour arrêter de développer des systèmes d'IA plus avancés que GPT-4 a polarisé la société. Un article fournit des exemples de processus allant dans une direction inattendue. Les risques d'utilisation malveillante de l'IA et de mauvaise utilisation ne sont pas pris en compte, ce qui conduit à l'argument selon lequel nous devons avoir peur des gens et non de l'IA elle-même.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
