мультимодальность

что это

первые llm умели только текст. мультимодальные модели принимают на вход ещё и изображения, а некоторые — аудио и видео: фото товара, скан договора, скриншот ошибки, чертёж. аналогия: сотрудник, который раньше работал только с надиктованным по телефону, а теперь ему можно показать документ, фотографию со склада или схему — и он поймёт.

отличие от старого подхода: раньше картинку сначала прогоняли через отдельное распознавание (ocr), потом текст отдавали модели — на стыке терялись таблицы, печати, расположение элементов. мультимодальная модель смотрит на документ целиком, как человек: видит, что подпись стоит в нужном месте, а сумма в таблице — во второй колонке.

зачем это бизнесу

открылся пласт задач, которые раньше автоматизировались плохо: разбор входящих документов любого качества, включая фото «счёт сфотографировали на телефон под углом», проверка фотоотчётов с точек и объектов, ответы клиентам, которые вместо описания проблемы шлют скриншот. если у вас процесс упирается в «человек должен посмотреть глазами» — это уже не приговор автоматизации. границы честности: точность на плохих фото ниже, чем на чистых сканах, мелкий рукописный текст — по-прежнему лотерея, а обработка изображений стоит дороже текста. пилот на вашей реальной фактуре — единственный способ узнать цифры.

о чём спросить подрядчика

• «какая точность на наших реальных изображениях, а не на демо-примерах?» — попросите прогнать пилот на сотне ваших худших сканов. на красивых примерах работает у всех.
• «во сколько обходится обработка одного документа с картинками против текстового?» — разница в разы, и на потоке это заметная строка в счёте.