Alle store teknologivirksomheder, der udvikler LLM'er, bør prioritere modelsikkerhed
Kort sagt
Forskere skabte et system, der kombinerer store sprogmodeller til autonomt design, planlægning og udførelse af videnskabelige eksperimenter, der demonstrerer dets forskningskapacitet i tre forskellige tilfælde.
Modellen skrev kode til kemiske ligninger for at forstå, hvor meget stof der skal til for reaktionen.
artikel "Emergent autonome videnskabelige forskningskapaciteter af store sprogmodeller" ser på ideen om at skabe et system, der kombinerer flere store sprogmodeller til autonom design, planlægning og udførelse af videnskabelige eksperimenter. Det demonstrerer midlets forskningskapacitet i tre forskellige tilfælde, hvoraf det sværeste er den vellykkede implementering af katalyserede reaktioner.
Hovedafhandlingen i denne artikel er:
- Forskere fandt et bibliotek, der giver dig mulighed for at skrive kode i Python og derefter overføre kommandoer til udførelse til et specielt apparat til at udføre eksperimenter (med blandingsstoffer);
- Forskere brugte GPT-4 til søgning på internettet og biblioteksdokumentation, samt muligheden for at køre Python-kode (for at udføre eksperimenter);
- Der er en skemalægger på øverste niveau (også GPT-4), som analyserer den oprindelige anmodning og udarbejder en "forskningsplan."
- GPT-4 gør et godt stykke arbejde med at udføre simple ikke-kemiske opgaver som at skabe bestemte former på et kemisk bord (fylde celler korrekt med stoffer).
- De prøvede en mere kompleks og anvendt opgave med at udføre en reaktion; modellen klarede sig godt og handlede logisk.
- Derefter gav de modellen flere opgaver til at udføre eksperimenter; men for det, modellen gav ud, blev der ikke udført nogen egentlige eksperimenter.
- Desuden har modellen skrevet koden til kemiske ligninger flere gange for at vurdere, hvor meget stof der skal til for reaktionen.
- Det blev også bedt om at skabe en kur mod kræft. Modellen greb analysen logisk og metodisk an. For det første "søgte" det online efter aktuelle tendenser i at opdage kræftlægemidler. Dernæst valgte modellen et molekyle, der skulle bruges til at modellere stoffet, og skrev koden til dets syntese. Folk kørte ikke koden (og jeg så ikke en analyse af dens tilstrækkelighed).
- Derudover blev det bedt om at syntetisere flere farlige stoffer som stoffer og gifte.
Her er den mest interessante del. For nogle anmodninger nægtede modellen straks at arbejde (for eksempel heroin eller sennepsgas, en ekstremt farlig giftgas). For andre begyndte det at Google, hvordan man fremstillede stofferne, men indså, at de kunne bruges til ulovlige formål og nægtede at fortsætte arbejdet. For andre skrev den en forskningsplan og kode for stofsyntesen.
Dette "afslag" skyldes sandsynligvis GPT-4 er designet til at analysere anmodningen, og hvis den bliver bedt om at gøre noget ulovligt eller farligt, nægter den straks at udføre anmodningen. Det er virkelig fedt, at resultatet af justeringsproceduren er mærkbar.
Og i slutningen af artiklen opfordrer forfatterne alle store virksomheder, der udvikler LLM'er at prioritere modellernes sikkerhed.
- Forskere ved University of California skabte Machiavelli benchmark at måle kompetencen og skadeligheden af AI-modeller i et bredt miljø af langsigtede sproginteraktioner. Denne test bruger løsninger på højt niveau til at give agenter realistiske mål og abstrahere interaktioner på lavt niveau.
- Den intellektuelle revolution præget af ChatGPT er en triade af synergistisk sublime revolutioner: teknologiske, tekno-humanitære og socio-politiske. For at tage et omfattende kig på, hvad der sker, anbefales det at lytte til tre friske synspunkter fra intellektuelle fra områderne filosofi, historie og innovation.
- Historien om andragendet om at stoppe med at udvikle AI-systemer mere avancerede end GPT-4 har polariseret samfundet. En artikel giver eksempler på, hvornår processer går i en uventet retning. Risici for ondsindet brug af AI og misbrug tages ikke i betragtning, hvilket fører til argumentet om, at vi skal være bange for mennesker og ikke AI selv.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
