Итоговый проект: мультимодальная задача

Решите задачу, где исходник — не текст: документ, фотография или запись. И доведите её до применённого результата.

После этого урока

Пройдёте полный путь от файла до результата и увидите, сколько ручной работы снимается одной кнопкой прикрепления.

Проект простой по замыслу: взять задачу, которая начинается не с текста, и довести её до конца.

Шаг 1. Найдите задачу

Ищите то, что вы сейчас делаете вручную. Признаки: вы что-то перепечатываете, пересказываете содержимое файла, слушаете запись с карандашом или переписываете цифры из одной таблицы в другую.

Разобрать договор или условия сервиса, которые давно лежат непрочитанными.
Расшифровать запись встречи и раздать поручения.
Распознать текст с фотографий страниц или с бумажных документов.
Свести данные из нескольких файлов в одну таблицу.
Разобрать скриншот ошибки, с которой не получается справиться.
Сделать изображение для материала, которому его не хватает.

Шаг 2. Приложите оригинал

Не пересказывайте и не копируйте текстом. Файл, фотография, запись — как есть. Если это скриншот, сначала обрежьте лишнее.

Шаг 3. Спрашивайте конкретно

Не «перескажи» и не «разберись». Три-пять конкретных вопросов с требованием цитат или указанием источника внутри материала.

Универсальный запрос по приложенному материалу

По приложенному материалу ответь на вопросы: 1. [вопрос] 2. [вопрос] 3. [вопрос] Правила: под каждым ответом — цитата или указание на место в материале, откуда это взято. Если ответа в материале нет — «в материале не указано». Ничего не добавляй из общих знаний. В конце перечисли, в чём ты не уверен.

Последняя строка работает почти всегда: модель честно называет размытые места, если её прямо об этом спросить.

Шаг 4. Проверьте по типу материала

Документ: цитаты — поиском по оригиналу, суммы и даты — сверкой, отрицания — внимательно.
Таблица: итоговые числа — формулой или калькулятором, количество строк — сравнением.
Фотография текста: критичные цифры и имена — глазами.
Расшифровка: имена, суммы, сроки — по записи.
Сгенерированная картинка: права на использование — в соглашении сервиса.

Шаг 5. Примените

Как и в прошлом курсе: пока результат не применён, вы не знаете, был ли он пригоден. Отправьте, подпишите, раздайте, опубликуйте.

Проверьте себя

Исходник был приложен файлом, а не пересказан.
Вопросы были конкретные, а не «перескажи».
Под ответами были цитаты или указания на место в материале.
Вы проверили то, что положено проверять для этого типа материала.
Результат применён.
Вы знаете, сколько времени это сэкономило по сравнению с ручным способом.

Что дальше

Пятый курс — про безопасность: как проверять ответы, что нельзя отправлять в нейросеть и как не потерять аккаунт. Половина оговорок этого курса — про файлы, которые уходят на чужой сервер, — там получит полное объяснение и понятные правила.

Практика

Сделайте проект и запишите одну цифру.

Выберите задачу, которую обычно делаете вручную.
Прикиньте, сколько времени она занимает обычно. Запишите.
Решите её по шагам этого урока.
Засеките, сколько заняло вместе с проверкой.
Сравните две цифры — это и есть ваш результат курса.

Типичные ошибки

Пересказать материал вместо того, чтобы приложить
Главный смысл курса именно в этом шаге. Пересказ теряет то, чего вы не заметили.
Спросить «перескажи» и остановиться на этом
Пересказ не отвечает на ваши вопросы и не проверяется. Нужны конкретные вопросы с цитатами.
Пропустить проверку, потому что «модель же видела оригинал»
Видела — и всё равно достраивает: размытую цифру, неразборчивое имя, пропущенное отрицание.
Не обрезать скриншот
В кадр попадает лишнее, и оно уходит на чужой сервер вместе с полезным.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. С чего начинается мультимодальная задача?
2. Почему проверка нужна, даже когда модель видела оригинал?

Коротко

Приложить оригинал — первый и главный шаг любой мультимодальной задачи.
Вопросы конкретные, ответы с цитатами или указанием места в материале.
Проверка зависит от типа материала, но нужна всегда.
Результат считается полученным, когда применён.