Изображения на вход: фото, скриншоты, распознавание текста

Что можно спросить у нейросети про картинку, где она ошибается — и почему со скриншотами нужно быть особенно осторожным.

После этого урока

Сможете разбирать фотографии и скриншоты, распознавать текст с изображений и понимать, где такому ответу верить нельзя.

Дать модели картинку и спросить о ней словами — возможность, которой почти никто не пользуется, хотя она закрывает целый класс задач.

Что можно спрашивать про изображение

Что здесь изображено и что происходит.
Распознать и переписать текст: снимок страницы, вывеска, рукописная записка, чек.
Объяснить схему, график или диаграмму словами.
Найти ошибку: в вёрстке, в оформлении, в заполненной форме.
Описать фотографию для тех, кто её не видит, — в том числе для подписи к изображению на сайте.
Перевести текст на иностранной этикетке, в меню, на приборной панели.

Распознавание текста

Самый практичный сценарий. Сфотографировали страницу книги, объявление, рукописную записку — и получили текст, с которым можно работать.

Промпт для распознавания текста с фото

Перепиши весь текст с изображения дословно, сохраняя порядок и разбивку на абзацы. Ничего не исправляй и не дополняй. Если какое-то слово не читается — пиши [неразборчиво] вместо того, чтобы угадывать. После текста отдельной строкой перечисли места, где ты не уверен.

Две последние строки обязательны: без них модель уверенно «дочитает» то, что не видно, и вы этого не заметите.

На плохом снимке модель додумывает

Размытая цифра, обрезанный край, блик на странице — всё это места, где модель подставит правдоподобное. Особенно опасно с числами: в сумме, дате или номере счёта одна такая догадка стоит дорого. Снимайте ровно и при свете, а критичное сверяйте глазами.

Разбор схем и графиков

Модель неплохо объясняет, что изображено на графике, и помогает разобраться в чужой схеме. Но точные значения с графика она считывает плохо — «примерно 40» может оказаться 52.

Правило: за общую картину — верим, за конкретное число с картинки — проверяем в исходных данных.

Скриншоты

Скриншот — самый быстрый способ показать проблему: сообщение об ошибке, непонятный интерфейс, сломанную вёрстку. Вместо описания словами вы просто показываете.

Проверьте, что попало в кадр

На скриншоте обычно видно больше, чем вы имели в виду: вкладки браузера, имена в списке чатов, почтовый адрес, часть другого документа. Всё это уходит на чужой сервер вместе с картинкой. Обрежьте лишнее до отправки — это пять секунд.

Описание изображений для доступности

Отдельный полезный сценарий: составить текстовое описание картинки для тех, кто пользуется сайтом без зрения. Раньше такие описания писали руками или не писали вовсе.

«Составь краткое описание этого изображения для незрячих пользователей: что изображено и что важно для понимания. Одно-два предложения, без слов „на картинке изображено“».

Чего не стоит ждать

Точного определения людей на фотографии — и не стоит об этом просить.
Надёжного счёта предметов на картинке: на десятке модель уже ошибается.
Точных измерений и расстояний по фотографии.
Медицинской оценки снимков — это область врача, а не чата.

Практика

Проверьте распознавание на своём материале.

Сфотографируйте страницу текста — можно с наклоном и не идеально ровно.
Распознайте промптом из урока.
Сверьте результат с оригиналом слово в слово.
Отметьте, что модель пометила как неразборчивое, а что уверенно дочитала неверно.

Типичные ошибки

Верить цифрам, распознанным с плохого снимка
Размытую сумму или дату модель уверенно дочитает. Критичные числа сверяют глазами.
Не обрезать скриншот перед отправкой
В кадр попадают вкладки, имена, адреса — и всё это уходит на чужой сервер.
Снимать значения с графика на картинке
Общая картина — да, конкретные числа — нет. За ними идут в исходные данные.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. Что обязательно добавить в промпт для распознавания текста с фото?
2. Почему скриншот стоит обрезать перед отправкой?

Коротко

Картинку можно спрашивать словами: что изображено, что написано, что не так.
На плохом снимке модель додумывает — особенно цифры.
С графика верим общей картине, а числа берём из исходных данных.
Скриншот обрезают перед отправкой: в кадр попадает лишнее.