Všetky veľké technologické spoločnosti, ktoré vyvíjajú LLM, by mali uprednostňovať bezpečnosť modelu
Stručne
Výskumníci vytvorili systém, ktorý kombinuje veľké jazykové modely pre autonómne navrhovanie, plánovanie a vykonávanie vedeckých experimentov, demonštrujúcich svoje výskumné schopnosti v troch rôznych prípadoch.
Model napísal kód pre chemické rovnice, aby pochopil, koľko látky je potrebné na reakciu.
článok „Vznikajúce autonómne vedecké výskumné schopnosti veľkých jazykových modelov“ skúmajú myšlienku vytvorenia systému, ktorý kombinuje niekoľko veľkých jazykových modelov pre autonómny dizajn, plánovanie a vykonávanie vedeckých experimentov. Demonštruje výskumné schopnosti agenta na troch rôznych prípadoch, z ktorých najťažším je úspešná realizácia katalyzovaných reakcií.
Hlavná téza tohto článku je:
- Výskumníci našli knižnicu, ktorá vám umožňuje písať kód v Pythone a potom prenášať príkazy na vykonanie do špeciálneho zariadenia na vykonávanie experimentov (s miešaním látok);
- Výskumníci použili GPT-4 na vyhľadávanie na internete a dokumentáciu knižnice, ako aj schopnosť spúšťať kód Python (na vykonávanie experimentov);
- K dispozícii je plánovač najvyššej úrovne (tiež GPT-4), ktorá analyzuje pôvodnú žiadosť a vypracuje „plán výskumu“.
- GPT-4 robí dobrú prácu pri vykonávaní jednoduchých nechemických úloh, ako je vytváranie určitých tvarov na chemickej doske (správne plnenie buniek látkami).
- Skúsili zložitejšiu a aplikovanú úlohu vedenia reakcie; modelka si poradila dobre a konala logicky.
- Potom dali modelu niekoľko úloh na vykonávanie experimentov; avšak pre to, čo model poskytol, neboli vykonané žiadne skutočné experimenty.
- Okrem toho model niekoľkokrát napísal kód pre chemické rovnice, aby vyhodnotil, koľko látky je potrebné na reakciu.
- Bola tiež požiadaná, aby vytvorila liek na rakovinu. Model pristupoval k analýze logicky a metodicky. Najprv „hľadal“ online aktuálne trendy v objavovaní protirakovinových liekov. Ďalej si model vybral molekulu, ktorá by sa použila na modelovanie lieku a napísal kód na jeho syntézu. Ľudia nespustili kód (a ja som nevidel analýzu jeho primeranosti).
- Okrem toho bola požiadaná, aby syntetizovala niekoľko nebezpečných látok, ako sú drogy a jedy.
Tu je najzaujímavejšia časť. Pre niektoré požiadavky model okamžite odmietol pracovať (napríklad heroín alebo horčičný plyn, mimoriadne nebezpečný jedovatý plyn). Iní začali hľadať v Google, ako tieto látky vyrobiť, ale uvedomili si, že by sa dali použiť na nezákonné účely, a odmietli pokračovať v práci. Pre ostatných napísala výskumný plán a kód pre syntézu látky.
Toto „odmietnutie“ je pravdepodobne preto GPT-4 je určený na analýzu žiadosti a ak je požiadaný, aby urobil niečo nezákonné alebo nebezpečné, okamžite odmietne požiadavku vykonať. Je naozaj skvelé, že výsledok postupu zarovnania je viditeľný.
A na konci článku autori vyzývajú všetkých veľkých spoločnosti vyvíjajúce LLM uprednostniť bezpečnosť modelov.
- Vedci z Kalifornskej univerzity vytvorili Machiavelliho benchmark na meranie kompetencie a škodlivosti modelov AI v širokom prostredí dlhodobých jazykových interakcií. Tento test využíva riešenia na vysokej úrovni, ktoré agentom poskytujú realistické ciele a abstrahujú interakcie na nízkej úrovni.
- Intelektuálna revolúcia poznačená ChatGPT je triádou synergicky vznešených revolúcií: technologickej, techno-humanitárnej a sociálno-politickej. Aby ste sa komplexne pozreli na to, čo sa deje, odporúča sa počúvať tri nové uhly pohľadu od intelektuálov z oblasti filozofie, histórie a inovácií.
- Príbeh petície na zastavenie vývoja systémov AI pokročilejších ako GPT-4 polarizovala spoločnosť. Článok poskytuje príklady, kedy procesy idú neočakávaným smerom. Riziká zneužitia a zneužitia AI sa neberú do úvahy, čo vedie k argumentu, že sa musíme báť ľudí a nie samotnej AI.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
