Microsoft dwong LLM's om Harry Potter te vergeten
Microsoft heeft een methode onthuld voor het instrueren van grote taalmodellen (LLM's) om specifieke informatie in hun datasets te vergeten zonder dat een volledige reconstructie van de trainingsgegevens nodig is. Deze methode opent nieuwe mogelijkheden voor het verbeteren van LLM's en het mogelijk oplossen van juridische problemen met auteursrechtelijk beschermde inhoud.
Het team van Microsoft heeft onlangs gedemonstreerd hoe ze de Llama-2-modellen vergeten de details van de Harry Potter-boeken zonder andere gegevens in de trainingsgegevens van het model of de algehele prestaties van het model in een onderzoek dat op hun onderzoeksprojectpagina wordt beschreven, te beïnvloeden.
Het proces begint met de identificatie van specifieke informatie binnen de dataset van het model die moet worden vergeten. In dit geval waren het details die verband hielden met de iconische serie van JK Rowling, inclusief plotdetails, karakternamen en beroemde citaten. Deze werden vervolgens systematisch vervangen door algemene, niet-gerelateerde zinnen.
De onderzoekers gebruikten vervolgens een taalmodel om nieuwe informatie te genereren op basis van deze generieke gegevens. Deze nieuwe gegevens werden vervolgens gebruikt om het origineel opnieuw te trainen Llama-2-model stapsgewijs. Met elke stap nam het model afstand van de Harry Potter-boeken totdat het hallucinerende reacties begon te produceren als er vragen over werden gesteld.
Een opvallend kenmerk van deze aanpak is dat deze de algemene prestaties van het model niet in gevaar brengt. Dit betekent dat, hoewel de LLM steeds vergeetachtiger wordt over specifieke gegevens, de algemene taalmogelijkheden intact blijven.
Ondanks het feit dat deze aanpak nog steeds wordt verfijnd, zijn de implicaties ervan verreikend. Met name in situaties waarbij sprake is van juridische claims en auteursrechtkwesties kan het een reddingslijn bieden voor degenen die LLM’s en andere AI-modellen creëren.
Deze innovatie komt in een tijd waarin juridische geschillen over het gebruik van auteursrechtelijk beschermde inhoud in AI-modellen toenemen. Bijvoorbeeld, De New York Times eiste onlangs de verwijdering van zijn publicaties uit de GPT-4 gegevensset. Bij een succesvolle Juridische uitdagingzouden ontwikkelaars doorgaans hun modeldatasets moeten reconstrueren, een tijdrovend en arbeidsintensief proces. De methode van Microsoft zou, indien verder verfijnd en toegepast, een efficiënte oplossing voor dergelijke uitdagingen kunnen bieden.
De methode van Microsoft om selectief specifieke informatie binnen grote taalmodellen te vergeten (LLM's) is een belangrijke doorbraak in de ontwikkeling van AI, waarbij mogelijk problemen met auteursrechtelijk beschermde inhoud worden aangepakt en de verfijning wordt gestroomlijnd. Deze aanpak zou op verschillende domeinen kunnen worden toegepast, wat een verantwoorde ontwikkeling en toepassing van AI aantoont.
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
