Bildgenererande AI-modeller tränas på explicita barnbilder, hävdar Stanford
I korthet
Populära text-till-bild-generativa AI-verktyg inklusive Stable Diffusion, utbildas på tusentals bilder av sexuella övergrepp mot barn.
Populär text-till-bild generativ AI verktyg, inklusive Stable Diffusion från Stability AI utbildas på tusentals bilder av sexuella övergrepp mot barn, enligt forskningsrapporten från Stanford Internet Observatory.
Rapporten tillade att dessa bilder underlättar genereringen av realistiskt explicit innehåll som involverar falska barn och förvandlingen av klädda tonåringar till nakenbilder, vilket uppmanar företagen bakom sådana verktyg att vidta omedelbara åtgärder.
Stanford Internet Observatorys undersökning fokuserade på LAION databas, ett enormt arkiv med onlinebilder och bildtexter som används av ledande AI-bildskapare tycka om Stable Diffusion, för att träna AI-modeller.
Innan de kontrollerade bildgenererande AI-verktyg, ansåg forskarna att AI-verktygen producerade kränkande bilder av barn genom att kombinera information från vuxenpornografi och godartade foton av barn. Observatoriets resultat presenterar dock en oroande vändning, med över 3,200 XNUMX bilder av misstänkta sexuella övergrepp mot barn identifierade i LAION-datauppsättningen.
Medan LAION snabbt svarade på rapporten genom att tillfälligt ta bort dess datauppsättningar, är konsekvenserna av dessa bilder långtgående. Även om de utgör en bråkdel av LAIONs enorma index på 5.8 miljarder bilder, hävdar Stanford-gruppen att de sannolikt påverkar förmågan att AI-verktyg att generera skadliga effekter.
En betydande aktör i utvecklingen av LAION-databasen är Stability AI, en London-baserad startup som ansvarar för att forma datamängden. Rapporten belyser att en äldre version av deras Stable Diffusion modell, som introducerades förra året, finns fortfarande i olika applikationer, som den primära källan för att generera explicita bilder.
Även Stability AI hävdar att de endast är värd för filtrerade versioner och har vidtagit åtgärder för att mildra missbruk, ligger utmaningen i den äldre modellens genomträngning.
Generativ AI-distribution kräver rigorös validering
Kärnan i problemet går tillbaka till den snabba implementeringen av många generativa AI-projekt på marknaden, enligt David Thiel, chefsteknolog vid Stanford Internet Observatory.
Thiel påpekar att dessa projekt ofta gjordes allmänt tillgängliga på grund av hård konkurrens på fältet, utan den nödvändiga rigorösa uppmärksamheten under utvecklingsfasen.
Stanford-forskare förespråkar drastiska åtgärder för att ta itu med problemet effektivt. Rekommendationer inkluderar radering eller rengöring av träningsset härledda från LAION-5B och att göra en äldre version av Stable Diffusion mindre tillgänglig.
Komplexiteten i att retroaktivt städa upp data utgör dock en stor utmaning, vilket föranleder en uppmaning till samarbete med barnsäkerhetsexperter under utvecklingen av AI-databaser.
När skolor och brottsbekämpande myndigheter världen över uttrycker oro över de potentiella konsekvenserna av dessa fynd, riktas nu rampljuset på AI-industrin att omedelbart ta itu med och åtgärda de skadliga bristerna i deras teknik.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Kumar är en erfaren teknisk journalist med specialisering på de dynamiska skärningspunkterna mellan AI/ML, marknadsföringsteknologi och framväxande områden som krypto, blockchain och NFTs. Med över 3 års erfarenhet i branschen har Kumar etablerat en bevisad meritlista i att skapa övertygande berättelser, genomföra insiktsfulla intervjuer och leverera omfattande insikter. Kumars expertis ligger i att producera innehåll med hög effekt, inklusive artiklar, rapporter och forskningspublikationer för framstående industriplattformar. Med en unik kompetens som kombinerar teknisk kunskap och berättande, utmärker Kumar sig på att kommunicera komplexa tekniska koncept till olika publik på ett tydligt och engagerande sätt.
fler artiklar
Kumar är en erfaren teknisk journalist med specialisering på de dynamiska skärningspunkterna mellan AI/ML, marknadsföringsteknologi och framväxande områden som krypto, blockchain och NFTs. Med över 3 års erfarenhet i branschen har Kumar etablerat en bevisad meritlista i att skapa övertygande berättelser, genomföra insiktsfulla intervjuer och leverera omfattande insikter. Kumars expertis ligger i att producera innehåll med hög effekt, inklusive artiklar, rapporter och forskningspublikationer för framstående industriplattformar. Med en unik kompetens som kombinerar teknisk kunskap och berättande, utmärker Kumar sig på att kommunicera komplexa tekniska koncept till olika publik på ett tydligt och engagerande sätt.
