Experts waarschuwen voor 'kwaadaardige invoegingen' in AI-datasets in ChatGPT
In het kort
ChatGPT is potentieel kwetsbaar vanwege de trainingsgegevens.
Volgens onderzoekers zouden we in de VS voor slechts $ 60 in 0.01 400% van de LAION-700- of COYO-2022-datasets kunnen vergiftigen.
ChatGPT technologie wordt steeds populairder, maar recent onderzoek suggereert dat deze technologie mogelijk kwetsbaar is vanwege de trainingsgegevens die worden gebruikt. Naarmate modellen complexer worden en datasets groter en complexer worden, kunnen kwaadwillende actoren deze kwetsbaarheid misbruiken om de datasets te manipuleren en ervoor te zorgen dat de machine learning-modellen onnauwkeurige resultaten opleveren.
De belangrijkste zorg is dat chatbot-databases vaak "voorwaardelijk geverifieerde" datasets zijn, wat betekent dat er een bepaald niveau van vertrouwen in de gegevens wordt gestoken zonder uitgebreide verificatie. Met andere woorden, deze datasets kunnen vaak onderliggende problemen hebben die niet zijn overwogen. Hoewel validatie van datasets vaak niet wordt uitgevoerd vanwege hun grote omvang, bestaat de mogelijkheid voor kwaadwillende actoren om deze gegevens te manipuleren.
Onderzoekers hebben zelfs gesuggereerd dat aanvallers tegen 2022 naar schatting $ 60 zouden kunnen uitgeven om 0.01% van de LAION-400- of COYO-700-datasets te vergiftigen. Hoewel dit niet veel lijkt, kunnen kwaadwillende actoren deze vergiftigde gegevens voor hun eigen gewin gebruiken als ze niet worden aangevinkt. De schadelijke gegevens kunnen uiteindelijk lekken in grotere datasets, wat de datakwaliteit aantast en leidt tot onbetrouwbare machine learning-modellen.
Het is noodzakelijk stappen te ondernemen om databases te beschermen tegen schadelijke gegevens. Het samenvoegen van meerdere databronnen moet de standaard worden voor chatbots trainingsdatasets om ervoor te zorgen dat de gegevens betrouwbaar en nauwkeurig zijn. Bovendien moeten bedrijven experimenteren met datasets om ervoor te zorgen dat ze niet kwetsbaar zijn voor kwaadwillende actoren.
AI-chatbots met schadelijke code kunnen kwetsbaar zijn voor hacking
De dreiging van kwaadaardige code in chatbots kan behoorlijk serieus zijn; kwaadaardige code kan worden gebruikt om gebruikersgegevens te stelen, kwaadwillende toegang tot servers mogelijk te maken en kwaadwillende activiteiten mogelijk te maken, zoals het witwassen van geld of data-exfiltratie. Als een AI-chatbot is getraind op gegevens met schadelijke invoegingen, kan deze onbewust de schadelijke code in zijn antwoorden injecteren en onbewust worden gebruikt als een hulpmiddel voor kwaadwillig gewin.
Kwaadwillende actoren kunnen misbruik maken van dit beveiligingslek door opzettelijk of onopzettelijk schadelijke code in de trainingsdata. Bovendien, aangezien AI-chatbots leren van de gegevens waarmee ze worden gepresenteerd, kan dit er mogelijk ook toe leiden dat ze onjuiste reacties of zelfs kwaadaardig gedrag leren.
Een ander gevaar waarmee AI-chatbots kunnen worden geconfronteerd, is dat van 'overfitting'. Dit is wanneer voorspellingsmodellen te nauw worden getraind op de gegevens die ze hebben gekregen, wat leidt tot slechte voorspellingen wanneer nieuwe gegevens worden gepresenteerd. Dit kan een bijzonder probleem zijn als AI-chatbots getraind op kwaadaardige code, kunnen mogelijk effectiever worden in het injecteren van kwaadaardige code in hun reacties naarmate ze meer vertrouwd raken met de gegevens.
Het is essentieel om op de hoogte te zijn van de risico's en voorzorgsmaatregelen te nemen om de trainingsgegevens die worden gebruikt om les te geven, te garanderen ChatGPT veilig en betrouwbaar is om deze potentiële zwakheden te voorkomen. Ook de initiële gegevens die worden gebruikt voor training moeten gescheiden en uniek worden gehouden; de promotie van "kwaadaardige invoegingen" mag niet in strijd zijn met of overlappen met andere bronnen. Er moet worden onderzocht en vergeleken met andere domeinen of het mogelijk is om meerdere bevestigde domeinen te "vastleggen" om de gegevens te valideren.
Chatbot-technologie belooft de manier waarop mensen menselijke discussies voeren te transformeren. Maar voordat het zijn volledige potentieel kan realiseren, moet het worden verbeterd en veiliggesteld. Datasets voor chatbots moeten goed worden gecontroleerd en klaargemaakt om kwaadwillende actoren af te weren. Door dit te doen, kunnen we ervoor zorgen dat we het potentieel van de technologie volledig benutten en blijven pushen grenzen van kunstmatige intelligentie.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
