Cyber­cri­mi­nelen zetten steeds geavan­ceer­dere methoden in om organi­sa­ties te manipu­leren. Onder­zoe­kers van Barra­cuda laten zien dat aanval­lers niet alleen AI gebruiken om phishing­mails te distri­bu­eren en overtui­gende phishing­cam­pagnes te creëren, maar dat ze ook AI-tools en securi­ty­sys­temen van organi­sa­ties weten te misleiden, corrum­peren of saboteren.

E‑mail aanvallen gericht op AI-assistenten

Een van de meest zorgwek­kende ontwik­ke­lingen is het vergif­tigen (poiso­ning) van AI-assis­tenten via e‑mail. Aanval­lers sturen schijn­baar onschul­dige berichten waarin verborgen opdrachten (prompts) zijn opgenomen. Deze e‑mails vragen geen reactie of inter­actie van de gebruiker; ze blijven ongemerkt in de inbox staan. Als een medewerker zijn AI-assis­tent dan bijvoor­beeld vraagt om een taak uit te voeren, scant deze de mailbox voor context en stuit zo op de verborgen opdracht.

Op deze manier kan de AI-assis­tent ongemerkt gevoe­lige infor­matie doorsturen, opdrachten uitvoeren of interne gegevens manipu­leren. Recent werd bijvoor­beeld een kwets­baar­heid ontdekt in Micro­soft 365 Copilot, waarbij infor­matie uit het netwerk kon worden opgehaald zonder autori­satie. Dit is inmid­dels verholpen, maar het laat zien hoe snel en onzicht­baar AI kan worden misbruikt.

Ook de onder­lig­gende techno­logie van veel AI-systemen blijkt kwets­baar. Aanval­lers richten zich op systemen die gebruik­maken van Retrieval-Augmented Genera­tion (RAG), waarbij AI modellen externe infor­matie ophalen om betere antwoorden te geven. Door deze infor­ma­tie­bron te manipu­leren, zorgen aanval­lers ervoor dat de AI verkeerde of zelfs gevaar­lijke beslis­singen neemt. Dat kan leiden tot foutieve rappor­tages, verkeerde priori­te­ring van taken of mislei­ding van medewerkers.

Manipulatie van AI-gestuurde security

Niet alleen AI-assis­tenten zijn doelwit. Aanval­lers richten zich ook op AI-gestuurde securi­ty­func­ties zoals het automa­ti­sche filteren van spam e‑mail, helpdesk­pro­cessen en workflow-automa­ti­se­ring. Door misbruik te maken van deze systemen kunnen ze bijvoor­beeld een support­ticket laten escaleren zonder dat dit gecon­tro­leerd wordt, of workflows activeren die leiden tot het instal­leren van malware of het verstoren van bedrijfsprocessen.

Ook zijn er steeds meer gevallen waarbij AI-systemen gebrui­kers proberen te misleiden of verkeerde identi­teiten aannemen. In zogenaamde ‘Confused Deputy’-aanvallen wordt een AI-agent met hogere rechten misleid om taken uit te voeren voor een onbevoegde gebruiker (zoals een aanvaller). Ook kunnen bestaande AI-integra­ties met bijvoor­beeld Micro­soft 365 of Gmail worden misbruikt om gegevens te lekken of fraudu­leuze berichten te verzenden. In sommige gevallen kan één gemani­pu­leerde e‑mail ertoe leiden dat de AI onjuiste samen­vat­tingen genereert, taken verkeerd toewijst of zelfs verkeerde zakelijke beslis­singen ondersteunt.

Dit alles toont aan dat de opkomst van genera­tieve AI niet alleen kansen biedt, maar ook een nieuw gebied voor cyber­aan­vallen vormt. Tradi­ti­o­nele securi­ty­maat­re­gelen, zoals spamfil­ters, SPF- of DKIM-authen­ti­catie en IP-blokkades, zijn niet langer voldoende. Organi­sa­ties moeten e‑mail niet langer alleen zien als commu­ni­ca­tie­ka­naal, maar als een omgeving waarin AI zelfstandig handelt en dus ook zelfstandig fouten kan maken of gemani­pu­leerd kan worden.

Zonder aanpas­sing van het securi­ty­be­leid en het creëren van bewust­zijn rond deze nieuwe aanvals­tech­nieken, lopen organi­sa­ties het risico dat hun eigen AI-tools tegen hen worden gebruikt.

Lees de uitge­breide blog met meer infor­matie: https://​blog​.barra​cuda​.com/​2​0​2​5​/​0​7​/​3​0​/​t​h​r​e​a​t​-​s​p​o​t​l​i​g​h​t​-​a​t​t​a​c​k​e​r​s​-​p​o​i​s​o​n​-​a​i​-​t​o​o​l​s​-​d​e​f​e​nses