Аналитика/Персональные данные

ИИ отказывает или блокирует клиента: как организовать проверку решения

Модель оценила риск, система ограничила доступ, клиент получил отказ. Проверять нужно всю эту цепочку: где возникло решение, на каких сведениях оно основано и кто вправе его пересмотреть. Покажу, как разобрать один такой сценарий и превратить выводы в работающий процесс.

Станислав Трофимов
управляющий партнёр
21 августа 2026 6 минут чтения
Главное за минуту
  1. 1Проверьте три признака: персональные данные, исключительно автоматизированное решение и влияние на права или законные интересы человека. От этого зависит применимость статьи 16.
  2. 2Участие сотрудника оценивают по фактическому процессу. Ему нужны сведения, время и полномочия изменить результат до его исполнения, если компания строит процесс на таком участии.
  3. 3Для полностью автоматизированного сценария проверяют специальное основание, объяснение порядка решения и канал возражения. Процедуру проверяют на конкретном случае клиента.

Правовые выводы проверены и актуализированы 3 октября 2026 года. Примеры условные; рекомендации по организации работы отделены от обязательных требований.

Найдите действие, которое меняет положение клиента

Возьмём условный сервис с отсрочкой оплаты. Модель анализирует историю покупок, присваивает оценку риска, а система уменьшает доступный лимит. В презентации всё это называется персонализацией. Для проверки полезнее разложить процесс на действия: какие сведения прочитали, какой вывод получили и что изменили для клиента.

Искомая точка может находиться после модели. Сама нейросеть выдаёт оценку, а обычное правило сравнивает её с порогом и отправляет команду. Если никто не рассматривает конкретный случай до исполнения, наличие двух программ вместо одной не доказывает участие человека.

Начните с одной заявки или блокировки. Запросите последовательность событий и покажите её вместе сотруднику продукта, разработчику и юристу. На практике это быстрее выявляет место принятия решения, чем описание возможностей системы в целом.

Проверьте применимость статьи 16

Статья 16 Закона № 152-ФЗ устанавливает специальный режим для значимых решений, основанных исключительно на автоматизированной обработке персональных данных. Проверяют три признака: связь данных с человеком, отсутствие самостоятельного решения сотрудника и юридические последствия либо иное влияние на права и законные интересы.

Для условного лимита выясняют, относится ли история покупок к определённому человеку и как изменение влияет на его доступ к продукту. Само слово «клиент» недостаточно: решение о юридическом лице и решение о физическом лице требуют различать. При этом статус индивидуального предпринимателя не превращает сведения о человеке автоматически в неперсональные.

Тот же подход применим к антифроду, ограничениям аккаунта и автоматическому отказу. Нельзя заранее признать любую сортировку значимым решением; нужно установить фактический эффект. Общие условия статьи 16 подробно разобраны в отдельном правовом обзоре.

Организуйте самостоятельное рассмотрение сотрудником

Если выбран процесс с участием человека, сотрудник должен рассматривать конкретный случай до исполнения спорного действия. Ему показывают существенные сведения, основание рекомендации и возможные варианты результата. Кнопка подтверждения полезна только вместе с возможностью оценить ситуацию и изменить итог.

В нашем примере сотруднику нужно видеть, почему предлагается уменьшить лимит: какие события учтены, нет ли ошибки в данных и что клиент сообщил дополнительно. Роль, время на рассмотрение и полномочия должны соответствовать задаче. Если интерфейс допускает только подтверждение рекомендации, процесс стоит пересмотреть.

Это практические признаки содержательного участия, а не отдельный исчерпывающий перечень требований статьи 16. При проверке смотрят на факты. Случайный просмотр сводного отчёта после тысячи исполненных решений не равнозначен рассмотрению каждой заявки до изменения условий.

Если автоматизация полная, установите основание

Часть 2 статьи 16 допускает такие решения при письменном согласии человека либо в предусмотренных федеральным законом случаях с мерами защиты его прав. Общее основание обработки данных само по себе не заменяет проверку этого специального условия.

Для выбранного сценария нужно определить, какое именно решение охватывает согласие, как оно оформлено и как компания докажет его получение. Если основание выводят из отраслевого закона, найдите конкретную норму и предусмотренные ею гарантии. Формулировка «клиент принял наши условия» не отвечает на все эти вопросы.

Проверка формы согласия проводится отдельно; электронный формат не исключён автоматически, но обычную галочку нельзя без анализа приравнять к письменному согласию. После изменения действия — например, от рекомендации лимита к его автоматическому сокращению — основание нужно оценить заново.

Дайте клиенту работающий способ возразить

Части 3 и 4 статьи 16 требуют объяснить порядок решения и возможные последствия, обеспечить возможность возражения и порядок защиты прав. Возражение рассматривают в течение 30 дней со дня получения; о результате сообщают человеку.

Для продукта я бы проверил весь маршрут обращения. Клиент видит, где направить возражение; сообщение связывается с конкретным решением; ответственная команда получает его и может восстановить события. Автоматический ответ «система рассчитала верно» не подтверждает, что обращение рассмотрено.

В условном сервисе клиент сообщил, что подозрительная покупка была отменена. Команда проверяет факт, сопоставляет его с данными, на которых рассчитан лимит, и сообщает результат. Возможность изменить решение и порядок действий при ошибке нужно согласовать заранее. Канал обращения полезно проверить вместе с поддержкой на таком примере.

Ограничьте полномочия агента и сохраните сведения о решении

ИИ-агент может сначала читать историю обращений, затем получить инструмент для ограничения доступа. Второе полномочие меняет процесс. Перед его выдачей проверьте, какие действия допустимы самостоятельно, а какие система должна передать сотруднику или выполнять только по отдельно проверенному правовому сценарию.

Ограничение лучше обеспечить в механизме исполнения действий: модель не должна сама решать, можно ли ей обойти согласование. Если сотрудник недоступен, заранее определяют допустимый маршрут. Нельзя считать паузу в работе команды достаточным основанием для новой полной автоматизации.

Чтобы восстановить случай, полезно фиксировать идентификатор решения, время, версию модели и правил, существенные входные сведения, результат проверки и исполненное действие. Это предлагаемая организация доказательств. Состав и срок хранения журналов определяют с учётом цели обработки, защиты данных и применимых требований; бесконтрольное сохранение всех запросов создаёт дополнительный риск.

Проверьте процесс на трёх ситуациях

Первая проверка — ошибка во входных данных. Может ли команда обнаружить её и остановить неверное действие? Вторая — несогласие клиента. Доходит ли возражение до человека, который может его рассмотреть и сообщить результат? Третья — изменение модели поставщиком. Известно ли, когда оно произошло и какие решения затронуло?

В договоре с внешним сервисом полезно обеспечить необходимые сведения для таких проверок: информацию о существенных изменениях, взаимодействие при спорном результате и доступные журналы. Нельзя обещать клиенту понятное объяснение собственного решения, не выяснив, какую информацию предоставляет поставщик.

После разбора одного сценария должны остаться схема решения, вывод о применимости статьи 16, проверенное основание, полномочия сотрудников, маршрут возражения и перечень изменений. Это рабочие материалы для продукта. Они позволяют проверять новую автоматизацию до запуска и возвращаться к конкретным фактам при споре.

Станислав Трофимов
Управляющий партнёр · автор книги «Правовой аудит ИИ‑систем»

С 2009 года сопровождает собственников и руководителей бизнеса в сделках, корпоративных вопросах и спорах. Ведёт практику по правовому аудиту и управлению ИИ.

Разберём один процесс, в котором ИИ решает за клиента

Проверим данные, последствия решения, основание автоматизации и участие сотрудника. Подготовим схему процесса и конкретные изменения для продукта, поддержки и договоров.

Обсудить проект