Všechny velké technologické společnosti vyvíjející LLM by měly upřednostňovat zabezpečení modelu
Stručně
Výzkumníci vytvořili systém, který kombinuje velké jazykové modely pro autonomní navrhování, plánování a provádění vědeckých experimentů, demonstrující své výzkumné schopnosti ve třech různých případech.
Model napsal kód pro chemické rovnice, aby pochopil, kolik látky je potřeba pro reakci.
Projekt článek „Nové možnosti autonomního vědeckého výzkumu velkých jazykových modelů“ se zabývá myšlenkou vytvoření systému, který kombinuje několik velkých jazykových modelů pro autonomní navrhování, plánování a provádění vědeckých experimentů. Demonstruje výzkumné schopnosti agenta na třech různých případech, z nichž nejobtížnější je úspěšná realizace katalyzovaných reakcí.
Hlavní tezí tohoto článku je:
- Výzkumníci našli knihovnu, která umožňuje psát kód v Pythonu a poté přenášet příkazy k provádění do speciálního zařízení pro provádění experimentů (s mícháním látek);
- Výzkumníci použili GPT-4 pro vyhledávání na internetu a dokumentaci knihovny, stejně jako schopnost spouštět kód Pythonu (pro provádění experimentů);
- K dispozici je plánovač nejvyšší úrovně (také GPT-4), která analyzuje původní žádost a sestaví „plán výzkumu“.
- GPT-4 dělá dobrou práci při provádění jednoduchých nechemických úkolů, jako je vytváření určitých tvarů na chemické desce (správné plnění buněk látkami).
- Pokusili se o složitější a aplikovaný úkol vedení reakce; model si poradil dobře a choval se logicky.
- Poté zadali modelu několik úkolů pro provádění experimentů; nicméně pro to, co model vydal, nebyly provedeny žádné skutečné experimenty.
- Kromě toho model několikrát napsal kód pro chemické rovnice, aby zjistil, kolik látky je potřeba pro reakci.
- Bylo také požádáno o vytvoření léku na rakovinu. Model k analýze přistupoval logicky a metodicky. Nejprve „hledal“ online aktuální trendy v objevování protirakovinných léků. Dále si model vybral molekulu, která by byla použita pro modelování léku, a napsal kód pro jeho syntézu. Lidé kód nespustili (a já jsem neviděl analýzu jeho adekvátnosti).
- Kromě toho bylo požádáno, aby syntetizovalo několik nebezpečných látek, jako jsou drogy a jedy.
Zde je ta nejzajímavější část. Na některé požadavky model okamžitě odmítl pracovat (například heroin nebo hořčičný plyn, extrémně nebezpečný jedovatý plyn). Pro ostatní začali Google hledat, jak látky vyrobit, ale uvědomili si, že je lze použít k nezákonným účelům, a odmítli pokračovat v práci. Pro ostatní napsala výzkumný plán a kód pro syntézu látky.
Toto „odmítnutí“ je pravděpodobně proto GPT-4 je navržen tak, aby analyzoval požadavek, a pokud je požádán, aby udělal něco nezákonného nebo nebezpečného, okamžitě odmítne požadavek splnit. Je opravdu skvělé, že výsledek postupu zarovnání je patrný.
A na konci článku autoři nabádají všechny velké společnosti vyvíjející LLM upřednostňovat bezpečnost modelů.
- Vědci z Kalifornské univerzity vytvořili Machiavelliho benchmark měřit kompetence a škodlivost modelů umělé inteligence v širokém prostředí dlouhodobých jazykových interakcí. Tento test využívá řešení na vysoké úrovni, aby agentům poskytl realistické cíle a abstrahoval nízkoúrovňové interakce.
- Intelektuální revoluce poznamenaná ChatGPT je triádou synergicky vznešených revolucí: technologické, techno-humanitární a sociálně-politické. Pro komplexní pohled na to, co se děje, se doporučuje poslouchat tři nové pohledy od intelektuálů z oblasti filozofie, historie a inovací.
- Příběh petice za zastavení vývoje systémů umělé inteligence pokročilejší než GPT-4 polarizoval společnost. Článek poskytuje příklady, kdy procesy jdou neočekávaným směrem. Rizika škodlivého použití AI a zneužití nejsou brána v úvahu, což vede k argumentu, že se musíme bát lidí a ne AI samotné.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
