Bescherm AI meldt kritieke kwetsbaarheden in bestaande AI- en ML-systemen en dringt aan op beveiliging van open source-projecten
In het kort
Het Protect AI-rapport identificeert kwetsbaarheden in tools die worden gebruikt binnen de AI/ML-toeleveringsketen, vaak open source, met unieke beveiligingsbedreigingen.
Er zijn kwetsbaarheden in de tools die worden gebruikt binnen de AI/ML-toeleveringsketen, vaak Open Source, die unieke beveiligingsbedreigingen met zich meebrengen. Deze kwetsbaarheden brengen het risico met zich mee van niet-geverifieerde uitvoering van externe code en het opnemen van lokale bestanden, aldus het rapport van Protect AI. internetveiligheid bedrijf dat zich richt op AI- en ML-systemen.
Het kan gevolgen hebben, variërend van serverovernames tot de diefstal van gevoelige informatie, aldus het rapport.
Het rapport benadrukt verder de noodzaak van een proactieve aanpak bij het identificeren en aanpakken van deze kwetsbaarheden om gegevens, modellen en referenties te beschermen.
In de voorhoede van de inspanningen van Protect AI staat Huntr, 's werelds eerste AI/ML-bugbountyprogramma, waarbij een gemeenschap van meer dan 13,000 leden actief op zoek gaat naar kwetsbaarheden. Dit initiatief heeft tot doel cruciale informatie over potentiële bedreigingen te verschaffen en een snelle reactie op veilige AI-systemen te vergemakkelijken.
In augustus 2023 kondigde het bedrijf de lancering aan van huntr – een AI/ML-bugbountyplatform dat zich uitsluitend richt op het beschermen van AI/ML open-sourcesoftware (OSS), fundamentele modellenen ML-systemen. De lancering van het huntr AI/ML bug bounty-platform komt als gevolg van de overname van huntr.dev door Protect AI.
“Met nu meer dan 15,000 leden is de jacht van Protect AI de grootste en meest geconcentreerde groep bedreigingsonderzoekers en hackers die zich uitsluitend richten op AI/ML-beveiliging”, zegt Daryan Dehghanpisheh, president en medeoprichter van Protect AI.
“Het bedrijfsmodel van Huntr is gericht op eenvoud, transparantie en beloningen. De geautomatiseerde functies en de triage-expertise van Protect AI bij het contextualiseren van bedreigingen voor beheerders helpen alle bijdragers aan open source-software in AI om veiligere softwarepakketten te bouwen. Dit komt uiteindelijk ten goede aan alle gebruikers, omdat AI-systemen veiliger en veerkrachtiger worden”, aldus Dehghanpisheh.
Rapport identificeert kritieke kwetsbaarheden
Het rapport benadrukt de bevindingen van de huntr-gemeenschap van de afgelopen maand en identificeert drie kritieke kwetsbaarheden, waaronder MLflow Remote Code Execution, MLflow Arbitrary File Overwrite en MLflow Local File Include.
- MLflow Remote Code Execution: de fout resulteert in serverovername en verlies van gevoelige informatie. MLflow, een tool voor het opslaan en volgen van modellen, had een kwetsbaarheid voor het uitvoeren van externe code in de code die werd gebruikt om externe gegevensopslag op te halen. Gebruikers kunnen voor de gek worden gehouden om kwaadaardige externe gegevensbronnen te gebruiken die namens de gebruiker opdrachten kunnen uitvoeren.
- MLflow Arbitrary File Overwrite: De fout kan leiden tot systeemovername, denial-of-service en vernietiging van gegevens. Er is een bypass in een MLflow-functie gevonden die valideert dat een bestandspad veilig is, waardoor een kwaadwillende gebruiker op afstand bestanden op de MLflow-server kan overschrijven. Dit kan leiden tot uitvoering van code op afstand met extra stappen, zoals het overschrijven van de SSH-sleutels op het systeem of het bewerken van het .bashrc-bestand om willekeurige opdrachten uit te voeren bij de volgende aanmelding van de gebruiker
- MLflow Local File Include: de fout resulteert in het verlies van gevoelige informatie en de mogelijkheid van systeemovername. MLflow kan, wanneer het op specifieke besturingssystemen wordt gehost, worden gemanipuleerd om de inhoud van gevoelige bestanden weer te geven, wat een mogelijke weg kan vormen voor systeemovername als essentiële inloggegevens op de server worden opgeslagen.
Daryan Dehghanpisheh, mede-oprichter van Protect AI, vertelde het Metaverse Post, “De urgentie bij het aanpakken van kwetsbaarheden in AI/ML-systemen hangt af van hun zakelijke impact. Gezien de cruciale rol van AI/ML in het hedendaagse bedrijfsleven en de ernstige aard van potentiële exploits, zullen de meeste organisaties deze urgentie hoog vinden. De belangrijkste uitdaging bij het beveiligen van AI/ML-systemen ligt in het begrijpen van de risico’s gedurende de hele MLOps-levenscyclus.”
“Om deze risico’s te beperken, moeten bedrijven bedreigingsmodellering uitvoeren voor hun AI- en ML-systemen, blootstellingsvensters identificeren en geschikte controles implementeren binnen een geïntegreerd en uitgebreid MLSecOps-programma”, voegde hij eraan toe.
In haar rapport benadrukt Protect AI de urgentie om deze aan te pakken kwetsbaarheden en biedt een lijst met aanbevelingen voor gebruikers met getroffen projecten in productie, waarmee het belang van een proactieve houding bij het beperken van potentiële risico's wordt onderstreept. Gebruikers die met uitdagingen worden geconfronteerd bij het beperken van deze kwetsbaarheden, worden aangemoedigd om contact op te nemen met de community van Protect AI.
Naarmate de AI-technologie vordert, werkt Protect AI aan het beveiligen van het ingewikkelde web van AI/ML-systemen om te zorgen voor een verantwoorde en veilige benutting van de voordelen van kunstmatige intelligentie.
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Kumar is een ervaren technologiejournalist met een specialisatie in de dynamische kruispunten van AI/ML, marketingtechnologie en opkomende velden zoals crypto, blockchain en NFTS. Met meer dan drie jaar ervaring in de branche heeft Kumar een bewezen staat van dienst opgebouwd in het opstellen van boeiende verhalen, het houden van inzichtelijke interviews en het leveren van uitgebreide inzichten. De expertise van Kumar ligt in het produceren van inhoud met een grote impact, waaronder artikelen, rapporten en onderzoekspublicaties voor vooraanstaande industriële platforms. Met een unieke reeks vaardigheden die technische kennis en verhalen vertellen combineert, blinkt Kumar uit in het op een duidelijke en boeiende manier communiceren van complexe technologische concepten aan een divers publiek.
Meer artikelen
Kumar is een ervaren technologiejournalist met een specialisatie in de dynamische kruispunten van AI/ML, marketingtechnologie en opkomende velden zoals crypto, blockchain en NFTS. Met meer dan drie jaar ervaring in de branche heeft Kumar een bewezen staat van dienst opgebouwd in het opstellen van boeiende verhalen, het houden van inzichtelijke interviews en het leveren van uitgebreide inzichten. De expertise van Kumar ligt in het produceren van inhoud met een grote impact, waaronder artikelen, rapporten en onderzoekspublicaties voor vooraanstaande industriële platforms. Met een unieke reeks vaardigheden die technische kennis en verhalen vertellen combineert, blinkt Kumar uit in het op een duidelijke en boeiende manier communiceren van complexe technologische concepten aan een divers publiek.
