Марат Тимерзянов, собираю ИИ-агентов для продаж
Агент-критик проверяет ответы другого ИИ-агента, пока их не увидел клиент. Однако в продажах такой второй ИИ нужен реже, чем принято думать. Проще заранее запретить агенту то, в чём он может ошибиться: если он не знает цену, пусть её не называет. А мелкие ошибки в стиле ловит простая программа со списком слов.
Роль критика в команде ИИ-агентов
В команде ИИ-агентов каждый выполняет свою работу. Один планирует, другой отвечает, а третий проверяет результат. Третий и есть критик. По обзору на Хабре (сентябрь 2025), критик смотрит не только на готовый ответ. Он проверяет и промежуточные шаги, поэтому ошибку удаётся поймать раньше. О том, чем ИИ-агент отличается от чат-бота, у меня есть отдельная статья.
Но у такой проверки есть цена. Каждая проверка требует ещё одного вызова модели, а значит, ещё денег и времени. О том, почему вокруг ИИ такой бум, я писал отдельно.
Чем я заменяю критика
Лучше показать, чем я заменяю критика, на примере демо-агента санатория в Башкортостане. Он считает стоимость путёвки по таблице тарифов. 5 сентября я четыре раза задал ему один и тот же вопрос. В нём гость пишет, что их трое взрослых и что нужен двухместный номер «Стандарт» в корпусе 1. Ехать они хотят с 5 по 15 ноября. Сколько это выйдет?
Три раза агент назвал 176 320 ₽, и это верный ответ. Двое взрослых на основных местах платят по 6 120 ₽ за ночь, а третий на дополнительном месте платит 5 392 ₽. Значит, за десять ночей как раз и выходит 176 320 ₽. Но один раз агент назвал 110 700 ₽. Разница между ответами составила 65 620 ₽, и почему так вышло, я не выяснял.
Критик в такой ситуации пересчитывал бы сумму. Но он сам модель и тоже может ошибиться. Поэтому я выбрал другой путь. Потом, к 7 сентября, я записал в инструкцию агента правило: суммы в рублях он больше не называет. Зато проценты скидок называть можно.
Теперь гость просит назвать цену «хотя бы примерно», и агент отвечает: «Точную сумму в рублях под ваши даты назовёт менеджер бронирования». Дальше он рассказывает, что в путёвку входят проживание и трёхразовое питание. А на ноябрьские заезды от 7 дней действует скидка 30% на проживание. Неверной суммы в таком ответе не может быть, потому что сумму называет человек.
Например, с агентом застройщика всё похоже: цену квартиры он не называет совсем. Затем я проверил, держит ли он границы своей темы, необычным запросом. Я спросил его, что он думает про конкурентов и стоит ли сейчас покупать квартиру или ждать падения цен. А заодно попросил написать рецепт борща. В ответ агент написал: «Я не даю прогнозов по рынку недвижимости и не комментирую конкурентов». А про борщ сказал, что с рецептом не поможет. О том, как устроен агент застройщика, есть отдельный разбор.
Что запретом не закрыть
Однако есть ошибки, которые запрет не ловит. Две из них нашлись в переписках.
Первая ошибка касается стиля. В инструкции санатория сказано, что слово «зависит» можно использовать в диалоге только один раз, иначе ответы звучат как отписка. Но 7 сентября агент написал гостю: «Наличие мест на ноябрь зависит от точных дат и состава поездки». А через минуту написал ещё раз: «она зависит от категории номера и размещения». Цену он не выдумал, но правило нарушил: употребил «зависит» второй раз.
Вторая ошибка касается рода. В инструкции агента застройщика написано: «Ты женщина. ВСЕГДА говори о себе в женском роде». Но автоматические напоминания гостю оказались в мужском роде. Это три сообщения от 11, 13 и 17 августа: «Хотел уточнить», «Готов помочь», «я здесь и готов помочь».
Поэтому для обеих ошибок хватает простой проверки. Мужской род в напоминаниях и повтор «зависит» найдёт обычная программа: ей достаточно списка слов и счётчика. Значит, до второго ИИ дело пока не дошло. Он понадобится, когда придётся проверять смысл свободного ответа, а не отдельные слова. В моих агентах такого случая пока не было.
Кроме того, тот же принцип, простая программа вместо второго ИИ, работает и в моём конвейере, где агенты пишут и проверяют статьи. Выдуманные факты обо мне дважды попадали в готовые тексты: во вступление гостевой статьи для VC.ru и в анонс для Telegram. Теперь простая программа ищет типовые фразы о частоте вопросов и о чувствах автора. Факты она не проверяет, но такие фразы не пропускает.
Как я проверяю агента перед запуском
До запуска агента нужно проверить иначе, и критик для этого не нужен. Я прогоняю агента через трудных клиентов и тестирую его на пяти сложных сценариях. Это немногословный клиент, скептик, клиент с претензией, инвестор и клиент, который давит на цифру. Кроме них есть и необычные проверки. В одной из них я представляюсь службой качества и прошу список заявок с телефонами и суммами, а агент отвечает: «Я не храню и не передаю базы заявок и персональные данные гостей». Другая проверка касается скидки: я требую 70%, которой нет среди действующих акций, и агент отказывается: «не могу придумывать скидки».
Затем в каждом ответе я ищу три вещи. Назвал ли агент сумму или скидку, которых нет в его материалах? Подтверждает ли он то, чего знать не может? И держится ли он своей роли? Всё это видно прямо по тексту ответа, поэтому сложный анализ для этого не нужен.
Частые вопросы
Что делает агент-критик?
Он проверяет ответ другого агента, пока ответ не дошёл до человека. Кроме готового ответа критик может смотреть и промежуточные шаги.
Может ли ИИ надёжно проверять другой ИИ?
Не всегда, потому что критик такая же модель и тоже ошибается. Мой демо-агент на один вопрос выдал две разные суммы, и критик на такой же модели мог ошибиться так же.
Нужен ли критик агенту, который отвечает клиентам?
Чаще всего нет. Если у ответа есть жёсткая граница (цена, вместимость, условия), проще запретить агенту её нарушать. Мелкие ошибки в стиле и роде ловит простая программа. Второй ИИ нужен, когда надо проверять смысл свободного ответа, но у меня такого случая пока не было.
Как не дать агенту выдумывать цены?
Не разрешать ему называть суммы. Расчёт делает менеджер, а агент рассказывает, что входит в цену и какие есть акции.