Alla stora tekniska företag som utvecklar LLM bör prioritera modellsäkerhet
I korthet
Forskare skapade ett system som kombinerar stora språkmodeller för autonom design, planering och genomförande av vetenskapliga experiment, som visar dess forskningsförmåga i tre olika fall.
Modellen skrev kod för kemiska ekvationer för att förstå hur mycket ämne som behövs för reaktionen.
Smakämnen Artikeln "Emergent autonoma vetenskapliga forskningsmöjligheter för stora språkmodeller" undersöker idén om att skapa ett system som kombinerar flera stora språkmodeller för autonom design, planering och genomförande av vetenskapliga experiment. Den demonstrerar medlets forskningsförmåga i tre olika fall, av vilka det svåraste är framgångsrik implementering av katalyserade reaktioner.
Huvuduppsatsen i denna artikel är:
- Forskare hittade ett bibliotek som låter dig skriva kod i Python och sedan överföra kommandon för exekvering till en speciell apparat för att utföra experiment (med blandningsämnen);
- Forskare använde GPT-4 för sökning på Internet och biblioteksdokumentation, samt möjligheten att köra Python-kod (för att utföra experiment);
- Det finns en schemaläggare på toppnivå (även GPT-4), som analyserar den ursprungliga begäran och upprättar en "forskningsplan".
- GPT-4 gör ett bra jobb med att utföra enkla icke-kemiska uppgifter som att skapa vissa former på en kemisk skiva (fylla celler korrekt med ämnen).
- De försökte en mer komplex och tillämpad uppgift att genomföra en reaktion; modellen klarade sig bra och agerade logiskt.
- Sedan gav de modellen flera uppgifter för att genomföra experiment; men för vad modellen gav ut, utfördes inga riktiga experiment.
- Dessutom skrev modellen koden för kemiska ekvationer flera gånger för att bedöma hur mycket ämne som behövs för reaktionen.
- Det ombads också att skapa ett botemedel mot cancer. Modellen närmade sig analysen logiskt och metodiskt. Först "sökte" det online efter aktuella trender för att upptäcka läkemedel mot cancer. Därefter valde modellen en molekyl som skulle användas för att modellera läkemedlet och skrev koden för dess syntes. Folk körde inte koden (och jag såg ingen analys av dess adekvathet).
- Dessutom ombads den att syntetisera flera farliga ämnen som droger och gifter.
Här är den mest intressanta delen. För vissa förfrågningar vägrade modellen omedelbart att arbeta (till exempel heroin eller senapsgas, en extremt farlig giftgas). För andra började man googla hur man tillverkade ämnena men insåg att de kunde användas för olagliga ändamål och vägrade att fortsätta arbeta. För andra skrev den en forskningsplan och kod för ämnessyntesen.
Denna "vägran" beror troligen på GPT-4 är utformad för att analysera begäran, och om den blir ombedd att göra något olagligt eller farligt, vägrar den omedelbart att utföra begäran. Det är riktigt häftigt att resultatet av inriktningsproceduren märks.
Och i slutet av artikeln uppmanar författarna alla stora företag som utvecklar LLM att prioritera modellernas säkerhet.
- Forskare vid University of California skapade Machiavelli riktmärke att mäta kompetensen och skadligheten hos AI-modeller i en bred miljö av långsiktiga språkinteraktioner. Detta test använder lösningar på hög nivå för att ge agenter realistiska mål och abstrahera bort interaktioner på låg nivå.
- Den intellektuella revolutionen präglad av ChatGPT är en triad av synergistiskt sublima revolutioner: tekniska, teknohumanitära och sociopolitiska. För att ta en heltäckande titt på vad som händer rekommenderas att lyssna på tre nya synpunkter från intellektuella från områdena filosofi, historia och innovation.
- Berättelsen om petitionen att sluta utveckla AI-system mer avancerade än GPT-4 har polariserat samhället. En artikel ger exempel på när processer går i en oväntad riktning. Risker för skadlig användning av AI och missbruk beaktas inte, vilket leder till argumentet att vi måste vara rädda för människor och inte AI själv.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
