разметка данных

что это

разметка — это примеры с эталонными ответами, сделанные людьми. взяли тысячу писем, живой человек прошёл и отметил: это жалоба, это вопрос об оплате, это спам. аналогия: ключи к ответам в задачнике. без ключей можно решать, но нельзя проверить, правильно ли решил.

в эпоху готовых llm роль разметки сместилась. раньше она нужна была в основном для обучения — тысячи размеченных примеров, чтобы модель чему-то научилась. теперь готовые модели работают без обучения на ваших данных, но разметка осталась критичной для другого: измерения качества. чтобы сказать «бот правильно разбирает 94% заявок», нужен набор заявок, где правильный ответ известен заранее.

зачем это бизнесу

потому что без размеченного проверочного набора приёмка ии-проекта превращается в «потыкали, вроде норм». двести-триста типовых примеров с правильными ответами — и у вас появляется линейка: можно померить систему до запуска, сравнить две версии промпта, увидеть деградацию после смены модели. это дёшево: разметить пару сотен примеров — дни работы вашего сотрудника, который и так знает правильные ответы. и это единственная защита от разговоров «ну, по ощущениям стало лучше». отдельный случай — дообучение (fine-tuning): вот там разметки нужны тысячи, и её стоимость часто съедает смысл затеи — ещё одна причина, почему дообучение редко бывает первым шагом.

о чём спросить подрядчика

• «на каком наборе вы будете мерить качество и кто проставит эталонные ответы?» — правильный ответ вовлекает ваших экспертов: правильные ответы для вашего бизнеса знаете вы, не подрядчик.
• «сколько примеров в проверочном наборе?» — на десяти примерах «95% точности» — шум. осмысленные цифры начинаются от сотен.