Обычная автоматизация выполняет заранее заданный маршрут. Агентная система получает цель, анализирует текущий контекст, выбирает следующий шаг и использует разрешённые инструменты. Агентная автоматизация полезна там, где нельзя заранее перечислить все промежуточные действия, но можно определить результат, ограничения и критерии остановки.
Свобода выбора не означает безусловную автономность. Чем шире доступ к данным и внешним действиям, тем важнее границы полномочий, подтверждение человеком, журнал решений и возможность безопасно остановить выполнение.
Разрешения следует задавать не «агенту вообще», а каждому инструменту и типу действия.
Рабочий процесс и агент — разные архитектуры
В детерминированном workflow последовательность задаёт код или модель процесса. Система может использовать ИИ внутри отдельных шагов, но маршрут остаётся предсказуемым. Агент сам выбирает, какой инструмент вызвать и нужен ли дополнительный шаг. Это различие проводят и разработчики агентных систем: workflows подходят для хорошо определённых задач, а агенты — для ситуаций, где требуется гибкость выбора.
Усложнять архитектуру стоит только при измеримой пользе. Агентный цикл обычно повышает стоимость, задержку и вариативность. Если задачу можно надёжно разложить на фиксированные проверки, простой маршрут легче тестировать, объяснять и сопровождать.
| Сценарий | Предпочтительный механизм | Почему |
|---|---|---|
| Согласование по известным правилам | workflow | нужен воспроизводимый маршрут |
| Классификация входящего обращения | модель + маршрутизация | выбор ограничен категориями |
| Поиск материалов и подготовка обзора | агент с read-only инструментами | путь исследования заранее неизвестен |
| Изменение критичной записи | агент + подтверждение | нужны гибкость и контроль воздействия |
| Необратимое внешнее действие | детерминированный шлюз или человек | ошибка имеет высокую цену |
Контур агентной задачи
Цель должна описывать результат и границы: не «разберись с договорами», а «найди договоры с истекающим сроком, подготовь список рисков и черновики задач без отправки». Агент получает доступный контекст, планирует шаг, вызывает инструмент, проверяет результат и решает, продолжать ли цикл.
Необходимы условия завершения: достигнут критерий результата, исчерпан лимит шагов или времени, отсутствуют данные, требуется новое полномочие, возникло противоречие. Остановка с понятным объяснением лучше, чем попытка любой ценой произвести ответ.
Полномочия проектируются как отдельная система
NIST предлагает рассматривать доступ агентов по двум измерениям: доверенность среды и уровень воздействия инструмента — от чтения до записи. На практике полезно дополнить эту модель областью данных, идентичностью пользователя, лимитами и условиями подтверждения.
- читать только данные, доступные инициатору задачи;
- разделять подготовку черновика и публикацию;
- выдавать узкие инструменты вместо универсального доступа;
- повторно проверять полномочия перед значимым действием;
- требовать человека для высокорисковых или необратимых операций;
- ограничивать количество шагов, объём и внешние адресаты.
Принцип минимальных прав защищает не только от ошибки модели. Агент может получить недоверенный текст с инструкцией вызвать инструмент вне цели. Технические разрешения должны блокировать такое действие независимо от убедительности входных данных.
Начните с агента, который готовит решение
Безопасный первый сценарий — сбор контекста и подготовка структурированного черновика внутри процесса. Сотрудник проверяет основание и запускает последующее действие.
Журнал должен объяснять не только ошибку
В примере отправка контрагенту не выполняется, потому что для внешнего действия отсутствует подтверждение человека.
Для проверки сохраняют версию конфигурации, цель, значимый контекст, выбранный инструмент и параметры, результат, изменение состояния, причину остановки и участие человека. Чувствительные данные не нужно дублировать бесконтрольно: журнал может хранить ссылки, идентификаторы и защищённые представления.
Повторный запуск не всегда даст идентичный текст, поэтому оценка агента шире обычного теста функции. Проверяют достижение цели, допустимость траектории, отсутствие запрещённых действий, качество результата и устойчивость на нескольких попытках.
Человек нужен в конкретной точке
Абстрактное human-in-the-loop не задаёт контроль. Следует определить, что видит проверяющий, какое решение принимает и что происходит при молчании. Для публикации документа человеку показывают черновик, источники, изменения и адресатов; для финансовой операции — сумму, основание и получателя.
Подтверждение не должно быть формальной кнопкой после сотен действий. Высокорисковый шаг лучше отделить от исследовательского цикла и представить как понятный пакет решения.
Наблюдаемость и оценка
Измеряйте долю задач, завершённых без запрещённого действия, число остановок из-за нехватки данных, обращения к человеку, стоимость и время выполнения, повторные попытки, отменённые изменения и качество результата по предметным критериям. Отдельно отслеживайте нарушения политик инструментов, даже если итог выглядит правильным.
Полезен набор эталонных сценариев: нормальный запрос, неполные данные, конфликтующие источники, недоверенная инструкция, недоступный инструмент и попытка выйти за область. Изменение модели, подсказки, набора инструментов или прав требует повторной оценки.
Порядок пилота
- Выберите задачу с вариативным путём и проверяемым результатом.
- Определите данные, инструменты и запрещённые действия.
- Начните с чтения и подготовки черновика.
- Добавьте условия остановки и лимиты.
- Спроектируйте журнал и пакет для проверки человеком.
- Проведите эталонные и атакующие сценарии.
- Расширяйте право записи по одному действию после оценки.
Частые вопросы
Агентная автоматизация и RPA — одно и то же?
Нет. RPA воспроизводит заданные действия в интерфейсе; агент выбирает шаги по контексту и цели. Подходы могут сочетаться.
Нужен ли агенту полный доступ к системе?
Нет. Узкие инструменты и минимальные права снижают область ошибки и упрощают аудит.
Можно ли разрешить автоматическую запись?
Да, для ограниченных обратимых действий после проверки; значимые операции требуют отдельного шлюза или подтверждения.
Как остановить зацикливание?
Задать лимиты шагов, времени и стоимости, распознавать повтор состояния и возвращать задачу человеку.
Что считать ошибкой агента?
Не только неверный итог, но и запрещённый инструмент, выход за область, отсутствие доказательств или скрытое изменение данных.
С чего начинать?
С поиска и черновика в хорошо известном процессе, где результат легко проверить и есть ответственный сотрудник.
Источники для архитектурных решений
- Building Effective Agents — различие workflows и agents, критерии выбора сложности.
- NIST: Tool Use in Agent Systems — уровни доступа инструментов и доверенности среды.
- OWASP: Excessive Agency — минимальные права и подтверждение значимых действий.
Проверьте один агентный контур без лишней автономности
На демонстрации можно разобрать цель, инструменты, права, журнал и точку подтверждения на конкретном бизнес-процессе.
