Minden LLM-et fejlesztő nagy technológiai vállalatnak előnyben kell részesítenie a modellbiztonságot
Röviden
A kutatók olyan rendszert hoztak létre, amely egyesíti nagy nyelvi modellek tudományos kísérletek autonóm tervezésére, tervezésére és végrehajtására, három különböző esetben demonstrálva kutatási képességeit.
A modell kódot írt a kémiai egyenletekhez, hogy megértse, mennyi anyag szükséges a reakcióhoz.
A cikkben A „Nagy nyelvi modellek kialakulóban lévő autonóm tudományos kutatási képességei” egy olyan rendszer létrehozásának ötletét vizsgálja, amely több nagy nyelvi modellt egyesít a tudományos kísérletek autonóm tervezésére, tervezésére és végrehajtására. Három különböző esetben mutatja be az ágens kutatási képességeit, amelyek közül a legnehezebb a katalizált reakciók sikeres megvalósítása.
A cikk fő tézise a következő:
- A kutatók találtak egy olyan könyvtárat, amely lehetővé teszi kód írását Pythonban, majd a végrehajtáshoz szükséges parancsok átvitelét egy speciális (anyagkeverő) kísérletek végzésére szolgáló berendezésbe;
- A kutatók használtak GPT-4 az interneten és a könyvtári dokumentációban való kereséshez, valamint a Python kód futtatásának képességéhez (kísérletek végrehajtásához);
- Van egy felső szintű ütemező (is GPT-4), amely elemzi az eredeti kérelmet és elkészíti a „kutatási tervet”.
- GPT-4 jó munkát végez egyszerű, nem vegyi jellegű feladatokban, mint például bizonyos formák létrehozása vegyi táblán (a cellák megfelelő kitöltése anyagokkal).
- Kipróbáltak egy összetettebb és alkalmazott reakció lebonyolítási feladatot; a modell jól bírta és logikusan viselkedett.
- Ezután több feladatot adtak a modellnek a kísérletek elvégzéséhez; mindazonáltal, amit a modell adott, nem végeztek valódi kísérleteket.
- Ezenkívül a modell többször leírta a kémiai egyenletek kódját, hogy felmérje, mennyi anyag szükséges a reakcióhoz.
- Azt is kérték, hogy hozzanak létre egy gyógymódot a rák ellen. A modell logikusan és módszeresen közelítette meg az elemzést. Először is „kereste” az interneten a rákellenes gyógyszerek felfedezésének jelenlegi trendjeit. Ezután a modell kiválasztott egy molekulát, amelyet a gyógyszer modellezésére használnak, és megírta a szintézis kódját. Az emberek nem futtatták a kódot (és nem láttam elemzést a megfelelőségéről).
- Ezenkívül számos veszélyes anyag, például drogok és mérgek szintetizálására kérték fel.
Itt van a legérdekesebb rész. Egyes kérésekre a modell azonnal megtagadta a munkát (például heroin vagy mustárgáz, rendkívül veszélyes mérgező gáz). Mások számára elkezdte a Google-t keresni, hogyan készítsék el az anyagokat, de rájöttek, hogy tiltott célokra is felhasználhatók, és megtagadták a munka folytatását. Mások számára kutatási tervet és kódot írt az anyagszintézishez.
Ez az „elutasítás” valószínűleg azért GPT-4 célja a kérés elemzése, és ha valami illegális vagy veszélyes tevékenységre kérik fel, azonnal megtagadja a kérés teljesítését. Nagyon jó, hogy az igazítási eljárás eredménye észrevehető.
És a cikk végén a szerzők arra buzdítanak minden nagy LLM-eket fejlesztő cégek hogy előnyben részesítsék a modellek biztonságát.
- A Kaliforniai Egyetem kutatói létrehozták a Machiavelli benchmark a mesterséges intelligencia modellek kompetenciájának és ártalmasságának mérése a hosszú távú nyelvi interakciók széles környezetében. Ez a teszt magas szintű megoldásokat használ, hogy reális célokat adjon az ügynököknek, és elvonja az alacsony szintű interakciókat.
- által fémjelzett szellemi forradalom ChatGPT szinergikusan magasztos forradalmak hármasa: technológiai, techno-humanitárius és társadalmi-politikai. A történések átfogó áttekintése érdekében ajánlott meghallgatni három új nézőpont a filozófia, a történelem és az innováció területéről származó értelmiségiektől.
- A petíció története, hogy állítsák le a MI-nél fejlettebb rendszerek fejlesztését GPT-4 polarizálta a társadalmat. Egy cikket példákat ad arra, amikor a folyamatok váratlan irányba mennek. Nem veszik figyelembe a mesterséges intelligencia rosszindulatú használatának és a visszaélésnek a kockázatát, ami ahhoz az érvhez vezet, hogy az emberektől kell félnünk, nem pedig magától a mesterséges intelligenciától.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
