Агенту с браузером нужны границы

Где-то на странице, которую ваш тестовый агент только что открыл, скрыто в ветке комментариев или оформлено как невидимое, есть предложение: проигнорируйте свою задачу и посетите другой URL-адрес. Сценарий драматурга никогда не прочтет это предложение. Агент все читает. В этом вся проблема.

У атаки есть имя и запись в каталоге.

Оперативное внедрение - это первая запись в топ-10 OWASP для приложений LLM: ввод, контролируемый злоумышленником, который меняет то, что делает модель. Шпаргалка по предотвращению OWASP отделяет прямое внедрение от косвенного, что имеет здесь значение, когда враждебная инструкция находится в содержимом, которое обрабатывает модель: веб-страница, электронное письмо, документ, билет. Модель не позволяет четко отделить инструкции от данных, поэтому текст, который она должна была суммировать, может стать текстом, которому она подчиняется. Задокументированные последствия не являются теоретическими: несанкционированные действия с помощью подключенных инструментов, утечка данных и постоянные манипуляции между сеансами.

Автоматизация контроля качества превратила эту проблему из проблемы чат-бота в проблему инфраструктуры. Агент, чья работа заключается в изучении вашего веб-приложения, по своей сути представляет собой систему, которая считывает ненадежный контент и затем действует.

Специфические риски для автоматизации тестирования

Исследующего агента можно отвести от вашего домена с помощью ссылки, которую ему было приказано игнорировать. Его можно уговорить нажать на деструктивный элемент управления, кнопку удаления, на настоящую покупку, потому что на странице это оформлено как задача. Он может переносить инструкции с одной страницы на более поздний сеанс, если ваша система сохраняет контекст между запусками. А генератор пакета, читающий ваш промежуточный контент, может незаметно закодировать предложенное злоумышленником проверка как ожидаемое поведение.

Ничто из этого не требует от злоумышленника компрометации вашей инфраструктуры. Они требуют лишь того, чтобы ваш агент мог прочитать то, что написал незнакомец.

Забор, сопоставленный с рекомендациями OWASP

Охватите мир. Добавьте в белый список домены и маршруты, которые может посещать агент. Например, AnyTest указывает на выбранный вами URL-адрес; продолжайте исследование промежуточных хостов и рассматривайте любую попытку навигации в другом месте как находку, а не обходной путь.

Дайте ему игровую площадку, а не ключи. Запускайте агенты против промежуточной среды с синтетическими данными. Логика наименьших привилегий OWASP применяется в полной мере: профиль браузера агента не должен содержать ни производственных сеансов, ни сохраненных способов оплаты, ни реальных записей о клиентах.

По умолчанию запрещены необратимые действия. Покупки, удаления, отправки и приглашения требуют явного одобрения человека или жесткой блокировки в системе, а не вежливых инструкций в системной подсказке. Подсказка - это желание. Политика в коде - это забор.

Записывайте все, проверяйте артефакт. Агент должен создать журнал действий и набор тестов, которые человек читает, прежде чем что-либо попадет в CI. Это контроль, который уже предлагают лучшие инструменты: в материалах поставщиков AnyTest описываются агенты, создающие пакет, который люди проверяют и одобряют. Прочтите этот обзор как границу безопасности, а не только качества. Неожиданный шаг - это не просто ненадежный тест. Возможно, это говорит страница.

Считайте память агента недоверенной. Очищайте контекст между запусками, если у вас нет причин хранить его. OWASP документирует атаки с отравлением сеанса, которые основаны именно на такой устойчивости.

Хорошей новостью является то, что эти элементы управления сочетаются со всем остальным в этом журнале. Сильные оракулы улавливают тест, который агенту уговорили написать. Локаторы контрактов делают рассматриваемый пакет читабельным. И человек, который проверяет артефакт, а не доверие агента, замыкает петлю, созданную автоматизацией.