Nyheds rapport Teknologier
Oktober 27, 2023

AI-virksomheder bør bruge 30 % af deres finansiering på forskning og udvikling inden for sikkerhed og etik

Skaden forårsaget af fordomme og falske oplysninger er allerede tydelige. Der er indikationer på, at andre farer også kan dukke op. Det er afgørende at afbøde nuværende risici og forudse nye risici.

AI-virksomheder bør bruge 30 % af deres finansiering på forskning og udvikling inden for sikkerhed og etik

Vi ville ikke vide, hvordan vi sikrer, at avancerede autonome systemer eller AGI er sikre, eller hvordan vi tester dem, hvis de var tilgængelige lige nu. Desuden mangler regeringer de institutioner, der er nødvendige for at stoppe misbrug og indføre sikker praksis, selvom de gjorde det. Forfatterne støtter udviklingen af ​​effektivt regeringstilsyn og omdirigering af F&U-indsatsen i retning af sikkerhed og etik.

Kontrol og ærlighed (mere sofistikerede systemer kan overliste testning ved at producere falske, men overbevisende svar), robusthed (under nye forhold med distributionsskift eller modstridende input), fortolkbarhed (forståelse af arbejde), risikovurdering (nye evner dukker op, som er svære at forudsige), og fremkomsten af ​​nye udfordringer (hidtil usete fejltilstande) er nogle af de F&U-udfordringer, der ikke vil blive løst af udvikle mere kraftfulde AI-systemer.

Forfatterne foreslår, at sikkerhed og etik bør modtage mindst en tredjedel af finansieringen til AI R&D.

Standarder skal håndhæves i forhold til både nationale institutioner og global styring. AI mangler disse, men det gør medicinal-, finans- og nuklearindustrien. Der er nu incitamenter for nationer og virksomheder til at spare på bekostning af sikkerhed. Virksomheder kan drage fordel af AI-fremskridt, mens de overlader samfundet til at bære konsekvenserne, ligesom industrier dumper affald i floder.

Stærk teknisk knowhow og evnen til at bevæge sig hurtigt er krav til nationale institutioner. På den globale arena er partnerskaber og aftaler afgørende. Bureaukratiske hindringer for små og forudsigelige modeller skal undgås for at sikre akademisk forskning og lavrisikoapplikationer. Frontier-modeller - en udvalgt gruppe af de mest potente systemer trænet på milliard-dollar supercomputere - bør have mest fokus.

Regeringer skal være mere åbne om udviklingen, for at reglerne kan være effektive. Regulatorer bør påbyde modelregistrering, sikre interne informanter, påbyde hændelsesrapportering og holde øje med udviklingen af ​​modeller og brugen af ​​supercomputere.

Regulatorer skal også have adgang til disse systemer, før de frigives til produktion for at kunne evaluere potentielt skadelig funktioner som patogengenerering, selvreplikation og systempenetrering.

Systemer med potentiale til at være farlige har brug for en række forskellige kontrolmetoder. Frontier model skabere skal også holdes juridisk ansvarlige for enhver skade på deres systemer, der kunne have været undgået. Dette burde fremme sikkerhedsinvesteringer. Flere funktioner, såsom regeringslicenser, evnen til at standse udviklingen som reaktion på potentielt farligt kapaciteter, adgangskontrol og informationssikkerhedsforanstaltninger, der er uigennemtrængelige for hackere på statsniveau, kan være nødvendige for ekstremt dygtige systemer.

Selvom der ikke er nogen regler, bør virksomheder hurtigt afklare deres hvis-så-ansvar ved at skitsere de præcise skridt, de vil tage, hvis visse modelkapaciteter krydser en rød linje. Disse foranstaltninger skal forklares grundigt og uafhængigt bekræftes. Således er det. En separat Politiktillæg udarbejder et resumé af specialer.

  • I oktober, Frontier Model Forum har indført en AI Safety Fund på over $10 mio, med det formål at fremme fremskridt inden for AI-sikkerhedsforskning. Fonden, et samarbejde mellem Frontier Model Forum og filantropiske partnere, vil yde støtte til uafhængige forskere verden over, der er tilknyttet akademiske institutioner, forskningsorganisationer og startups. De primære bidragydere til initiativet er Anthropic, Google, Microsoft, OpenAI, sammen med filantropiske organisationer som Patrick J. McGovern Foundation, David and Lucile Packard Foundation, Eric Schmidt og Jaan Tallinn. AI Safety Fund fokuserer primært på at styrke udviklingen af ​​nye evalueringsteknikker og red teaming-tilgange til AI-modeller med det formål at afdække potentielle farer. Forummet planlægger at etablere et Advisory Board i løbet af de kommende måneder og vil udsende sin første indkaldelse af forslag og bevillinger kort derefter.
Relaterede: Den britiske konkurrence- og markedsmyndighed lancerer gennemgang af AI-modeller, efterhånden som regeringens reguleringsindsats eskalerer

Ansvarsfraskrivelse

I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.

Om forfatteren

Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab. 

Flere artikler
Damir Yalalov
Damir Yalalov

Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab. 

Institutionel appetit vokser mod Bitcoin ETF'er midt i volatilitet

Afsløringer gennem 13F-arkivering afslører bemærkelsesværdige institutionelle investorer, der dytter i Bitcoin ETF'er, hvilket understreger en voksende accept af ...

Vide mere

Straffeudmålingsdagen ankommer: CZ's skæbne hænger i balance, da amerikansk domstol overvejer DOJ's anbringende

Changpeng Zhao står klar til at blive dømt ved en amerikansk domstol i Seattle i dag.

Vide mere
Tilmeld dig vores innovative teknologifællesskab
Læs mere
Læs mere
Espresso Systems samarbejder med Polygon Labs for at udvikle AggLayer for at forbedre sammenlægningens interoperabilitet
Forretning Nyheds rapport Teknologier
Espresso Systems samarbejder med Polygon Labs for at udvikle AggLayer for at forbedre sammenlægningens interoperabilitet
Maj 9, 2024
ZKP-drevet infrastrukturprotokol ZKBase afslører køreplan, planlægger testnet-lancering i maj
Nyheds rapport Teknologier
ZKP-drevet infrastrukturprotokol ZKBase afslører køreplan, planlægger testnet-lancering i maj
Maj 9, 2024
BLOCKCHANCE og CONF3RENCE forenes for Tysklands største Web3 Konference i Dortmund
Forretning Markeder Software Historier og anmeldelser Teknologier
BLOCKCHANCE og CONF3RENCE forenes for Tysklands største Web3 Konference i Dortmund
Maj 9, 2024
NuLink lancerer på Bybit Web3 IDO platform. Abonnementsfasen forlænges til 13. maj
Markeder Nyheds rapport Teknologier
NuLink lancerer på Bybit Web3 IDO platform. Abonnementsfasen forlænges til 13. maj
Maj 9, 2024