human-in-the-loop

что это

human-in-the-loop («человек в контуре») — принцип проектирования: в цепочке автоматических шагов стоят точки, где машина обязана остановиться и показать работу человеку. агент разобрал заявку, подготовил ответ — но кнопку «отправить» нажимает менеджер. модель разнесла счета по статьям — но проводки со странностями падают бухгалтеру на проверку. аналогия: стажёр и руководитель. стажёр делает всю черновую работу, но исходящее письмо клиенту уходит после визы. со временем, когда стажёр доказал надёжность, часть виз снимается.

важно понять: это не признак слабой системы, а признак спроектированной. ии ошибается — вопрос не «ошибётся ли», а «заметим ли до того, как ошибка доедет до клиента».

зачем это бизнесу

human-in-the-loop — это регулятор, которым настраивается баланс скорости и риска. правило простое: степень автономии пропорциональна цене ошибки. рассылка внутренней сводки — пусть летит сама, ошибка стоит ничего. ответ клиенту про деньги и условия — через визу человека. и это не навсегда: нормальная траектория внедрения — начать с проверки всего, накопить статистику, где машина ошибается, и постепенно отпускать надёжные категории на автопилот. так пилот агента и должен взрослеть: сначала человек в каждом решении, через квартал — только в спорных.

о чём спросить подрядчика

• «в каких точках процесса человек проверяет результат и как выглядит его рабочее место — удобная очередь на проверку или письма в почте?» — если проверка неудобна, люди перестанут проверять через неделю, и контур останется на бумаге.
• «как система решает, что показывать человеку, а что пропускать, — и можно ли двигать этот порог?» — зрелый ответ: уверенность модели плюс категория риска, порог настраиваемый. «проверяем всё всегда» — значит экономии не будет.