ИИ-агент в работе: где поставить границы и проверку

Перед тем как дать ИИ-агенту доступ к рабочему процессу, раздели его шаги на чтение, подготовку и действие. Начни с чтения нужной информации и создания черновика. Оставь человеку подтверждение перед отправкой сообщения, изменением записи или любым шагом, который трудно отменить. Такая граница делает задачу проверяемой: ты видишь, что агент предлагает, прежде чем последствия становятся реальными.

Возьмём процесс обработки обращений. Агент может извлечь тему письма, предложить категорию и подготовить краткое резюме. Но если он автоматически отвечает клиенту, неправильная классификация уже влияет на человека. Для первого прототипа разумно поручить ему разобрать обезличенные примеры, показать источники решения и передать неоднозначные случаи оператору.

Карта полномочий

Для каждой операции запиши, к какой стадии она относится:

• Чтение: открыть конкретный документ или получить запись из системы.
• Подготовка: сгруппировать, классифицировать, сформировать черновик.
• Изменение: обновить карточку или назначить задачу.
• Внешнее действие: отправить письмо, опубликовать материал или выполнить платёж.

Затем определи, что допустимо для каждой стадии, какие данные нужны и кто подтвердит переход дальше. Не давай агенту широкий доступ «на всякий случай». Если задача требует только читать один набор документов, доступ к остальным системам не улучшает её автоматически.

Для каждого результата полезно задать три вопроса: какое свидетельство его поддерживает, что агент делает при противоречии и можно ли отменить действие? Например, «создай черновик ответа и приложи ссылку на исходное обращение» безопаснее для теста, чем «ответь всем клиентам». Перед реальной отправкой сотрудник может проверить черновик и отметить типичные ошибки.

Подготовь процесс к сбою

Опиши, что считать неизвестным результатом: нет доступа, документ пуст, данные противоречат друг другу или категория не подходит. Для таких случаев агент должен сообщить о проблеме и остановиться, а не выдумывать продолжение. Сохраняй журнал шагов, достаточный для разбора ошибки, с учётом правил доступа и конфиденциальности.

Начни с небольшой выборки, где ты можешь вручную проверить ответы. Запиши критерии до теста: например, правильная категория, отсутствие добавленных фактов и передача неопределённых случаев человеку. Проверь также плохие и пограничные примеры. Если агент хорошо справился с пятью простыми письмами, это ещё не показывает, как он поступит при конфликте или необычном запросе.

В руководстве OpenAI по MCP в Responses API описано подключение инструментов удалённых серверов; для конкретных вызовов разработчик может настроить автоматический режим или требовать явное подтверждение. Это относится к Responses API и не задаёт политику для всех агентных приложений. Само подключение не определяет, какие полномочия разумны именно в твоём процессе. Прочитай перечень действий и условия доступа выбранной среды. Уточни, где хранится учётная запись и кто имеет право разрешить операцию.

Когда расширять автоматизацию

Расширяй доступ, только когда у тебя есть проверяемые результаты, обработка ошибок и владелец процесса. Увеличивай область по одному шагу: сначала больше образцов, затем ограниченное изменение данных, и лишь после отдельной проверки — внешнее действие. Сохраняй ручной путь для остановки и возврата к предыдущему состоянию, если это возможно.

Частые вопросы

Должен ли агент всё время спрашивать разрешение? Не обязательно для безвредного чтения или черновика. Подтверждение особенно важно перед изменением данных или внешним действием.

Что делать, если невозможно проверить каждый шаг? Уменьшить область автоматизации, добавить выборочную проверку и направлять неоднозначные случаи человеку.

MCP сам ограничивает действия агента? Конкретные права зависят от клиента, сервера и их настройки. Изучи инструменты и границы доступа, не предполагая, что протокол задаёт политику вместо тебя.