Human in the loop: что это и как внедрить

Автор

Томас Шеридан и Уильям Верпланк (Thomas Sheridan, William Verplank; уровни автоматизации); Парасураман, Шеридан и Уикенс (2000, модель), 1978; 2000

Уровень

201 · Инструмент

Подходит

малый и средний бизнес, растущая компания, корпорация

Время на внедрение

Полдня, чтобы определить, какие решения ИИ-системы нуждаются в контрольной точке; дальше постоянная работа проверяющего

Что понадобится

список всех решений, которые ИИ-система сейчас принимает или рекомендует сама · назначенный человек, у которого есть полномочия и время отклонить результат ИИ · журнал, где видно, что проверяющий изменил, отклонил или одобрил

Человек в контуре (human-in-the-loop, HITL) — это схема, при которой человек проверяет, одобряет или исправляет результат ИИ-системы до того, как он вступит в силу. Система не действует сама. Идея старше машинного обучения на десятилетия. Томас Шеридан и Уильям Верпланк (Thomas Sheridan, William Verplank) описали её в 1978 году. Они изучали, что человек должен видеть и одобрять при дистанционном управлении подводным манипулятором. Они же составили шкалу из десяти уровней: от полностью ручного управления до полной автономности. В 2000 году Раджа Парасураман, Шеридан и Кристофер Уикенс (Raja Parasuraman, Christopher Wickens) формализовали эту шкалу для информационных систем в целом. Они разделили автоматизацию на четыре стадии: сбор информации, анализ, выбор решения и действие. На каждой стадии участие человека может быть своим. Команды, работающие с ИИ, взяли термин позже, и по той же причине, что и первые исследователи. Система, которая ошибается в предсказуемом месте, требует человека именно там.

Где в процессе стоит контрольная точка

У контрольной точки human in the loop три части, и порядок у них фиксированный. ИИ-система выдаёт результат, человек его проверяет, и только после проверки происходит действие.

Результатом может быть прочитанный документ, оценка риска, черновик ответа — всё, что система иначе отправила бы или выполнила сама. Проверка бывает минимальной, в один клик на одобрение, или полной, с повторным анализом с нуля. Контрольная точка отличается от декорации одним: действие ждёт человека, и у него есть право сказать «нет». Из той же посылки исходят широко применяемые принципы проектирования продуктов с ИИ. Их написала исследовательница Microsoft Салима Амерши (Saleema Amershi) с коллегами. Продукт должен ясно показывать возможности системы. Он должен позволять быстро исправлять её ошибки.

Три позиции человека

Human-in-the-loop — одна из трёх позиций, которыми исследователи описывают, насколько близко человек стоит к автоматической системе. Две другие — человек над контуром (human-on-the-loop) и человек вне контура (human-out-of-the-loop). Часто цитируемую версию этого различия дали Human Rights Watch и Международная клиника прав человека Гарвардской школы права (Harvard Law School International Human Rights Clinic). Это доклад 2012 года об автономном оружии. В этой области позиции пришлось определять точно: ошибка стоит жизни. По их определению, система «в контуре» может выбрать цель или вариант, но не может действовать без команды человека. Система «над контуром» действует сама, а человек наблюдает и может отменить её действие. Система «вне контура» действует без человека, который мог бы вмешаться. Ноэль Шарки (Noel Sharkey) показал в литературе по военной робототехнике ту же поэтапность. Системы переходят от схемы «человек разрешает каждое действие» к схеме «человек только наблюдает» по уровням, а не прыжком к полной автономности.

Многие системы, которые называют human-in-the-loop, на деле работают как «над контуром». Система уже отправила письмо или одобрила транзакцию, а человек ловит неудачный случай постфактум. Контрольная точка после действия защищает от повторных ошибок. От уже совершённой ошибки она не защищает.

Что требует регулирование

Два действующих акта прямо называют человеческий надзор и не считают его необязательным. Статья 14 Регламента ЕС об ИИ (AI Act) требует строить системы высокого риска так, чтобы назначенный человек понимал их пределы и замечал странное поведение. В конкретном случае он вправе не использовать систему либо отменить, не учитывать или обратить её результат. Статья называет риск его исследовательским термином. Надзирающий должен помнить о «возможной склонности автоматически полагаться на результат системы или чрезмерно на него полагаться». В литературе это называется предвзятостью автоматизации (automation bias). Статья 22 GDPR, более давняя, подходит с другой стороны. Она касается полностью автоматизированных решений с юридическими или сопоставимо значимыми последствиями для человека. Человек вправе потребовать пересмотра такого решения человеком и оспорить его.

Ни один из текстов не описывает, как контрольная точка должна выглядеть изо дня в день. Часть этого пробела закрывает NIST AI Risk Management Framework. Он предлагает организациям определить, кто отвечает за надзор за ИИ, и документировать, как этот надзор устроен. Он также требует сохранять рабочий способ отключить систему или заменить её решение, если контрольная точка не сработала. Принципы ОЭСР по ИИ, которые приняли десятки государств, сводят то же ожидание к одной строке. Участники работы с ИИ должны закладывать «возможность человеческой самостоятельности и надзора», соразмерную риску.

В российском праве близкая норма есть в статье 16 Федерального закона 152-ФЗ «О персональных данных». Статья запрещает принимать решения исключительно на основании автоматизированной обработки персональных данных. Запрет касается решений, которые порождают юридические последствия для субъекта или иным образом затрагивают его права и законные интересы. Исключение — письменное согласие субъекта или случаи, предусмотренные федеральными законами. Оператор обязан разъяснить субъекту порядок принятия такого решения и его возможные юридические последствия и дать возможность заявить возражение. Оператор рассматривает возражение в течение тридцати дней со дня получения и уведомляет субъекта о результате.

Этот раздел кратко излагает содержание текстов. Это не юридическая консультация по конкретной системе. Перед применением проверьте действующую редакцию норм и обратитесь к квалифицированному юристу.

Почему контрольная точка перестаёт работать

Контрольная точка отказывает незаметно. Явной поломки нет: проверка превращается в формальность, которую никто не выполняет. Парасураман и Дитрих Манзи (Dietrich Manzey) в 2010 году проанализировали исследования автоматизации за несколько десятилетий. Они нашли один и тот же эффект у пилотов, рентгенологов и операторов станков. Когда человеку поручено наблюдать за системой, которая обычно права, внимание к исключениям падает. Это происходит даже у обученных специалистов, которые знают о риске.

Линда Скитка (Linda Skitka) с коллегами ранее показала сам механизм в исследовании на лётном тренажёре. Участники с надёжным, но несовершенным автоматическим помощником пропускали ошибки, которые участники без помощника замечали сами. Причина в том, что проверка требовала больше усилий, чем доверие. Бен Грин и Илин Чен (Ben Green, Yiling Chen) нашли ту же слабость в эксперименте 2019 года. Он касался решений об освобождении до суда и о кредитовании. Люди, которым показали оценку риска от алгоритма, не могли судить о точности алгоритма и о собственной точности. Степень опоры на оценку они не подстраивали под её качество.

Контрольную точку без трения пропускают. Если проверяющий не может объяснить контрольную точку, он одобряет результат формально. MIT Sloan Management Review называет такое одобрение термином rubber-stamping. Это надзор, сведённый к клику без анализа.

Какие решения нуждаются в контрольной точке

Ставьте человека в контур там, где ошибку дорого отменять, где регулятор спросит, кто одобрил, или где пострадавший клиент заметит ошибку. Большинство решений сортируют три вопроса.

Обратимо ли решение? Неверно отнесённое фото товара легко исправить позже. Перевод на неверный счёт может не вернуться. Регулируется ли оно? Возьмём кредитора, который оценивает заявку с помощью ИИ. Он всё равно обязан назвать заявителю конкретную и точную причину отказа. Так действующее законодательство о кредитовании трактует Бюро финансовой защиты потребителей США (Consumer Financial Protection Bureau). Сослаться на необъяснимую модель нельзя. Затрагивает ли решение клиента напрямую? Внутренний отчёт, который ИИ составил для команды, проверяют меньше, чем сообщение, которое он отправил прямо клиенту.

Когда решение прошло этот отбор, нужно выбрать глубину проверки. Полная проверка, то есть просмотр каждого результата, подходит для малых объёмов и для самых критичных случаев. Выборочная проверка, при которой смотрят статистически подобранную долю и передают человеку всё необычное, нужна большинству систем с большим объёмом. Проверка тысяч результатов в день как раз и порождает формальную подпись. В обоих случаях запишите правило эскалации до запуска. Определите, какая оценка уверенности, категория результата или сегмент клиентов автоматически уходит человеку. Не оставляйте это на усмотрение того, кто в этот день проверяет.

Последний элемент — измерение того, что проверяющий делает с контрольной точкой. Доля исправлений около нуля на протяжении месяцев в системе с большим объёмом обычно показывает, что проверка прекратилась. Она не доказывает, что ИИ стал безошибочным. Pushers закладывает такую постоянную контрольную точку в каждый ИИ-процесс, который выстраивает по практике AI for Real Work. В ней есть названный владелец, заданное условие срабатывания и число, за которым кто-то следит.

Как применять: Human in the loop: что это и как внедрить по шагам

1. Составьте список решений, которые система принимает сама. Запишите каждый результат, который ИИ-система выдаёт без участия человека: отправленное сообщение, присвоенную оценку, одобренный документ. Формулировка «система занимается онбордингом» слишком общая, по ней нечего проверять. Результат: полный список решений системы.
2. Разделите решения по цене ошибки. Отметьте решения, которые трудно отменить, которые входят в регулируемый процесс или доходят прямо до клиента. Для них нужна контрольная точка. Внутреннему черновику с низкой ценой ошибки она обычно не нужна. Результат: короткий список решений, требующих контрольной точки.
3. Выберите полную проверку или выборку. Проверяйте каждый результат, если решение критичное или объём небольшой. В остальных случаях проверяйте статистически подобранную выборку, а всё необычное направляйте человеку. Когда в день проходят тысячи результатов, проверка превращается в формальную подпись. Результат: режим проверки для каждой контрольной точки.
4. Запишите правило эскалации до запуска. Определите и запишите условия, при которых результат автоматически уходит человеку: уверенность модели ниже порога, категория, сегмент клиента. Результат: маршрутизация, которая не зависит от того, кто сегодня на смене.
5. Покажите проверяющему основания. Покажите человеку не только результат, но и то, на чём ИИ его построил. Проверяющий, который не видит оснований, одобряет по привычке, а не по суждению. Результат: экран проверки, где доказательства стоят рядом с ответом.
6. Следите за долей исправлений и пересматривайте её. Фиксируйте, как часто проверяющий меняет или отклоняет результат ИИ. Доля около нуля при заметном объёме обычно означает, что проверка прекратилась, а не что система стала безошибочной. Результат: одно число, которое показывает, работает ли контрольная точка.

Примеры

Проверка KYC-документов в финтехе

Иллюстративный пример. Платёжная компания использует ИИ, чтобы собрать в структурированный файл регистрационные данные нового бизнес-клиента, структуру собственности и документы, удостоверяющие личность. Аналитик по комплаенсу сверяет этот файл с исходными документами до открытия счёта, а не после, и подписывает его своим именем. ИИ читает документы. Решение, за которое спросит регулятор, принимает аналитик.

Сортировка заявок пациентов в клинике

Иллюстративный пример. Клиника использует ИИ-инструмент, чтобы сортировать входящие анкеты по срочности и готовить врачу краткое резюме. Врач читает исходную анкету и резюме рядом, а потом решает, как скоро принять пациента. Инструмент сам никогда не решает, кого принять первым. Он только быстрее готовит случай к рассмотрению.

Когда применять

Применяйте там, где ошибку ИИ-системы дорого исправлять, где о ней придётся объяснять регулятору или где она без предупреждения дойдёт до клиента. Схема подходит для решений, в которых финансовые или юридические последствия сочетаются с неопределённостью ИИ: кредитное решение, шаг медицинской сортировки, сообщение, которое уходит напрямую клиенту.

Когда не применять

Формальная контрольная точка не нужна для решений, которые дёшево отменить и которых не видно за пределами команды: черновик тегов, внутренний ранжир поиска, первичное резюме, на основании которого никто не действует без дополнительной работы. Лишний шаг проверки там приучает нажимать «одобрить», не читая. Работающая контрольная точка должна предотвращать именно эту привычку.

Частые ошибки

• Экран проверки показывает только ответ ИИ, а не основания, на которых он построен. Проверяющему не с чем сверить логику.
• Проверяют каждый результат, хотя объём вырос до уровня, при котором никто не читает внимательно. Получается та же формальная подпись, что и без контрольной точки.
• Долю исправлений не измеряют, и контрольная точка, которая перестала работать, на бумаге выглядит исправной.
• Проверяющий не вправе заблокировать действие, поэтому контрольная точка превращается в уведомление, а не в барьер.
• Глубина проверки одинакова для всех решений независимо от цены ошибки. Внимание тратится на безопасные случаи, и его не хватает на опасные.

Вопросы и ответы

Что значит human in the loop?

Human in the loop (человек в контуре) означает, что человек проверяет, одобряет или исправляет результат ИИ-системы до того, как он вступит в силу, а система не действует сама. Человек стоит между предложением ИИ и действием, которое оно запустило бы, и может его остановить.

Чем human-in-the-loop отличается от human-on-the-loop?

При human-in-the-loop система не может действовать, пока человек не одобрит конкретный результат. При human-on-the-loop система уже действует сама, а человек наблюдает и может вмешаться позже. Во втором случае пропускная способность выше, а контрольная точка слабее.

Требует ли Регламент ЕС об ИИ схему human in the loop?

Статья 14 требует человеческого надзора за системами высокого риска. Надзирающий должен иметь возможность отменить, не учитывать или обратить результат и помнить о предвзятости автоматизации. Конкретную схему «человек в контуре» текст не предписывает. Надзор «над контуром» тоже подходит, если человек сохраняет право вмешаться. Это краткое изложение, а не юридическая консультация.

Human-in-the-loop — это то же, что human-in-the-loop machine learning?

Нет. Из-за общего названия их часто путают. Human-in-the-loop machine learning — это когда люди размечают или исправляют обучающие данные, чтобы улучшать модель. Схема на этой странице — контрольная точка в момент решения: человек проверяет один конкретный результат до вступления его в силу и не обучает систему.

Как понять, что контрольная точка human in the loop работает?

Отслеживайте долю исправлений (как часто проверяющий меняет или отклоняет результат ИИ) вместе с объёмом. Если при росте объёма доля месяцами остаётся около нуля, проверка, скорее всего, стала формальностью. Работающая контрольная точка даёт какое-то число исправлений и ловит ошибки до того, как они дойдут до клиента или регулятора.

Источники

1. NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1
2. NIST AI Risk Management Framework, AI RMF Core (Govern, Map, Measure, Manage)
3. European Union, Regulation (EU) 2024/1689 (AI Act), Article 14, Human oversight, EUR-Lex
4. European Union, Regulation (EU) 2016/679 (GDPR), Article 22, Automated individual decision-making, EUR-Lex
5. Raja Parasuraman, Dietrich Manzey, Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 52(3), 2010
6. Linda J. Skitka, Kathleen L. Mosier, Mark Burdick, Does automation bias decision-making?, International Journal of Human-Computer Studies 51(5), 1999
7. Raja Parasuraman, Thomas B. Sheridan, Christopher D. Wickens, A Model for Types and Levels of Human Interaction with Automation, IEEE Transactions on Systems, Man, and Cybernetics, Part A, 2000
8. Thomas B. Sheridan, William L. Verplank, Human and Computer Control of Undersea Teleoperators, MIT Man-Machine Systems Laboratory, 1978, via MIT OpenCourseWare 16.422
9. Human Rights Watch and Harvard Law School International Human Rights Clinic, Losing Humanity: The Case against Killer Robots, 2012
10. Noel E. Sharkey, Saying 'No!' to Lethal Autonomous Targeting, Journal of Military Ethics 9(4), 2010
11. Ben Green, Yiling Chen, The Principles and Limits of Algorithm-in-the-Loop Decision Making, Proceedings of the ACM on Human-Computer Interaction 3(CSCW), 2019
12. Yunfeng Zhang, Q. Vera Liao, Rachel K. E. Bellamy, Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making, FAT* 2020
13. MIT Sloan Management Review, AI Explainability: How to Avoid Rubber-Stamping Recommendations
14. MIT Sloan Management Review, Justifying Human Involvement in the AI Decision-Making Loop
15. US Food and Drug Administration, Clinical Decision Support Software, guidance
16. FinCEN, Federal Reserve Board, FDIC, NCUA and OCC, Joint Statement on Innovative Efforts to Combat Money Laundering and Terrorist Financing, 2018
17. Consumer Financial Protection Bureau, Innovation spotlight: Providing adverse action notices when using AI/ML models
18. OECD, AI Principles, human-centred values and human agency and oversight
19. Partnership on AI, Human-AI Collaboration Framework & Case Studies
20. Saleema Amershi, Dan Weld, Mihaela Vorvoreanu, et al., Guidelines for Human-AI Interaction, CHI 2019
21. Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных», статья 16, КонсультантПлюс

Обновлено 30 октября 2026

Илья ПушинОснователь PUSHERS & COO Fintech ServiceИлья строит операционные системы для растущих компаний в медицине и финтехе. С 2021 года руководит трансграничными платежами в ARBI Exchange, лицензированном обменнике в Таиланде, включая KYC, AML и выход в новые юрисдикции.Об автореLinkedIn