Microsoft piespieda LLM aizmirst par Hariju Poteru
Microsoft ir atklājusi metodi lai dotu norādījumus lielo valodu modeļiem (LLM) aizmirst konkrētu informāciju savās datu kopās, neprasot pilnīgu apmācības datu rekonstrukciju. Šī metode paver jaunas iespējas LLM uzlabošanai un, iespējams, juridisku problēmu risināšanai saistībā ar ar autortiesībām aizsargātu saturu.
Microsoft komanda nesen demonstrēja, kā viņi spēja izveidot Llama-2 modelis aizmirst informāciju par Harija Potera grāmatām, neietekmējot citus modeļa apmācības datus vai modeļa vispārējo veiktspēju pētījumā, kas aprakstīts viņu pētniecības projekta lapā.
Process sākas ar konkrētas informācijas identificēšanu modeļa datu kopā, kas ir jāaizmirst. Šajā gadījumā tā bija informācija par Dž.K. Roulingas ikonisko sēriju, tostarp sižeta specifika, varoņu vārdi un slaveni citāti. Pēc tam tās tika sistemātiski aizstātas ar vispārīgām, nesaistītām frāzēm.
Pēc tam pētnieki izmantoja valodas modeli, lai, pamatojoties uz šiem vispārīgajiem datiem, iegūtu jaunu informāciju. Pēc tam šie jaunie dati tika izmantoti, lai pārkvalificētu oriģinālu Llama-2 modelis pakāpeniski. Ar katru soli modele attālinājās no Harija Potera grāmatām, līdz sāka radīt halucinācijas atbildes, kad par tām jautāja.
Viena no šīs pieejas pārsteidzošajām iezīmēm ir tā, ka tā neietekmē modeļa vispārējo veiktspēju. Tas nozīmē, ka, lai gan LLM arvien vairāk aizmirst par konkrētiem datiem, tā vispārējās valodas iespējas paliek neskartas.
Neskatoties uz to, ka šī pieeja joprojām tiek pilnveidota, tās sekas ir plašas. Situācijās, kas saistītas ar juridiskām prasībām un autortiesību jautājumiem, tas var būt glābšanas riņķis tiem, kas veido LLM un citus AI modeļus.
Šis jauninājums nāk laikā, kad pieaug juridiski strīdi par ar autortiesībām aizsargāta satura izmantošanu AI modeļos. Piemēram, The New York Times nesen pieprasīja noņemt tās publikācijas no GPT-4 datu kopa. Veiksmes gadījumā juridiskais izaicinājums, izstrādātājiem parasti būtu jārekonstruē modeļu datu kopas, kas ir laikietilpīgs un resursietilpīgs process. Microsoft metode, ja tā tiks pilnveidota un pieņemta, varētu nodrošināt efektīvu risinājumu šādām problēmām.
Microsoft metode, lai selektīvi aizmirstu konkrētu informāciju lielos valodu modeļos (LLM) ir nozīmīgs sasniegums AI attīstībā, kas, iespējams, risina ar autortiesībām aizsargāta satura problēmas un racionalizē pilnveidošanu. Šo pieeju varētu izmantot dažādās jomās, demonstrējot atbildīgu AI izstrādi un pielietojumu.
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
