AI-företag bör spendera 30 % av sin finansiering på FoU inom säkerhet och etik
Skadan som orsakats av fördomar och falsk information är redan uppenbar. Det finns indikationer på att andra faror också kan dyka upp. Det är viktigt att minska nuvarande risker och förutse nya.
Vi skulle inte veta hur vi skulle säkerställa att avancerade autonoma system eller AGI är säkra eller hur vi skulle testa dem om de var tillgängliga just nu. Dessutom saknar regeringar de institutioner som krävs för att stoppa missbruk och införa säkra metoder, även om de gjorde det. Författarna stödjer utvecklingen av effektiv statlig tillsyn och omdirigering av FoU-insatser mot säkerhet och etik.
Kontroll och ärlighet (mer sofistikerade system kan överlista tester genom att producera falska men övertygande svar), robusthet (i nya förhållanden med distributionsskifte eller motstridiga insatser), tolkningsbarhet (förstå arbetet), riskbedömning (nya förmågor dyker upp som är svåra att förutsäga), och uppkomsten av nya utmaningar (oöverträffade fellägen) är några av de FoU-utmaningar som inte kommer att lösas av utveckla kraftfullare AI-system.
Författarna föreslår att säkerhet och etik bör få minst en tredjedel av finansieringen för AI FoU.
Standarder måste upprätthållas i förhållande till både nationella institutioner och global styrning. AI saknar dessa, men läkemedels-, finans- och kärnkraftsindustrin gör det. Det finns nu incitament för nationer och företag att hushålla på bekostnad av säkerheten. Företag kan dra nytta av AI-framsteg samtidigt som de låter samhället bära konsekvenserna, ungefär som industrier dumpar avfall i floder.
Starkt tekniskt kunnande och förmåga att röra sig snabbt är krav på nationella institutioner. På den globala arenan är partnerskap och avtal väsentliga. Byråkratiska hinder för små och förutsägbara modeller måste undvikas för att säkra akademisk forskning och lågrisktillämpningar. Frontier-modeller – en utvald grupp av de mest potenta systemen som tränas på superdatorer för miljarder dollar – borde få mest fokus.
Regeringar måste vara mer öppna om utvecklingen för att regleringar ska bli effektiva. Tillsynsmyndigheter bör föreskriva modellregistrering, skydda interna informanter, föreskriva incidentrapportering och hålla ett öga på utvecklingen av modeller och användningen av superdatorer.
Tillsynsmyndigheter måste också ha tillgång till dessa system innan de släpps i produktion för att kunna utvärdera potentiellt skadligt egenskaper som patogengenerering, självreplikation och systempenetrering.
System med potential att vara farliga behöver en mängd olika kontrollmetoder. Frontier modell skapare måste också hållas juridiskt ansvariga för eventuella skador på deras system som kunde ha undvikits. Detta borde uppmuntra säkerhetsinvesteringar. Fler funktioner, såsom statlig licensiering, förmågan att stoppa utvecklingen som svar på potentiellt farligt kapacitet, åtkomstkontroller och informationssäkerhetsåtgärder som är ogenomträngliga för hackare på statlig nivå kan krävas för extremt kapabla system.
Även om det inte finns några regler, bör företag snabbt klargöra sina om-då-ansvar genom att beskriva de exakta steg de kommer att vidta om vissa modellförmågor passerar en röd linje. Dessa åtgärder måste förklaras grundligt och oberoende bekräftas. Således är det. En separat Policytillägg sammanställer en sammanfattning av uppsatser.
- I oktober, Frontier Model Forum har introducerat en AI Safety Fund på över 10 miljoner dollar, som syftar till att driva framsteg inom AI-säkerhetsforskning. Fonden, ett samarbete mellan Frontier Model Forum och filantropiska partners, kommer att ge stöd till oberoende forskare världen över som är anslutna till akademiska institutioner, forskningsorganisationer och startups. De främsta bidragsgivarna till initiativet är Anthropic, Google, Microsoft, OpenAI, tillsammans med filantropiska organisationer som Patrick J. McGovern Foundation, David och Lucile Packard Foundation, Eric Schmidt och Jaan Tallinn. AI Safety Fund fokuserar i första hand på att stärka utvecklingen av nya utvärderingstekniker och röda team-metoder för AI-modeller, i syfte att avslöja potentiella faror. Forumet planerar att inrätta en rådgivande styrelse under de kommande månaderna och kommer att utfärda sin första utlysning av förslag och anslagsbelöningar kort därefter.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
