Контекст: почему нейросеть забывает и как этим пользоваться

Модель видит только то, что помещается в её «поле зрения». Разбираемся, где границы и как вести длинный разговор, чтобы она не теряла суть.

После этого урока

Сможете вести длинный диалог без потери сути и понимать, в какой момент правильнее начать новый чат, а не спасать старый.

Если нейросеть не помнит вас между чатами, то как она помнит, о чём мы говорили пять минут назад в этом? Ответ простой и объясняет половину странностей в поведении моделей.

Что модель видит в момент ответа

Перед каждым ответом модели показывают всё разом: вашу текущую реплику, всю историю этого разговора, приложенные файлы и служебную инструкцию от сервиса. Всё вместе называют контекстом.

То есть «память» о разговоре — не память вовсе. Модель каждый раз заново перечитывает всю беседу целиком, как человек, которому выдали распечатку переписки и попросили написать следующую реплику. Прочитал — ответил — забыл.

У поля зрения есть границы

Контекст не резиновый: у каждой модели свой предел. Измеряют его в токенах — кусочках слов. Для русского языка грубая прикидка такая: одно слово — примерно два-три токена.

Пока разговор короткий, предел незаметен. Но он подкрадывается быстрее, чем кажется: приложили договор на сорок страниц — и половина поля зрения занята, ещё не начав.

Когда предел достигнут, сервисы поступают по-разному: одни выбрасывают начало разговора, другие сжимают его в краткий пересказ, третьи честно говорят, что чат переполнен. Общее у всех одно — начало беседы перестаёт существовать.

Длинный чат не делает модель умнее

Многие ведут один бесконечный чат на все случаи жизни. К сотому сообщению модель начинает путать ваши задачи между собой и терять то, о чём договорились в начале. Под новую задачу — новый чат: это не формальность, а способ вернуть ей ясную голову.

Что из этого следует на практике

Новая задача — новый чат. Так модели не придётся выбирать, какая из ваших задач важнее.
Важное повторяйте. Если через тридцать сообщений вы всё ещё пишете в том же стиле, напомните о нём прямо: «помни, пишем для родителей школьников».
Большой документ разбирайте по частям, а не целиком. Точность на длинном тексте падает даже внутри допустимого предела.
Не рассчитывайте, что модель помнит прошлый чат. Не помнит — даже вчерашний, даже про вас.

Приём, который экономит больше всего времени

Когда разговор пора заканчивать, но задача не закрыта, не начинайте новый чат с нуля. Попросите модель подвести итог — и перенесите этот итог в новый разговор первым сообщением.

Промпт для переноса разговора в новый чат

Подведи итог нашего разговора так, чтобы я мог передать его другой нейросети и продолжить с того же места. Включи: задачу, принятые решения, отвергнутые варианты и причины, текущий результат, что осталось сделать. Пиши сжато, списком, без вступлений.

Итог стоит прочитать глазами: иногда модель теряет как раз то, что вам важнее всего.

Память в сервисах — это не контекст

Некоторые сервисы умеют запоминать факты о вас между чатами и подставлять их в начало разговора. Полезно, но работает это не как человеческая память: в поле зрения попадает короткая заметка, а не весь ваш прошлый опыт. И её можно посмотреть и почистить в настройках.

Почему в начале ответа модель точнее

Есть закономерность, замеченная и исследователями, и всеми, кто много работает с длинными текстами: лучше всего модель удерживает начало и конец контекста, а середину — заметно хуже.

Отсюда практическое правило: самое важное ставьте в начало запроса или в самый конец. Спрятанное в середине длинного текста указание модель может просто не заметить — и это будет выглядеть так, будто она вас проигнорировала.

Практика

Посмотрите на границы контекста своими глазами.

В начале нового чата попросите модель придумать вам кодовое слово и запомнить его.
Поговорите на любую тему — чем дольше, тем нагляднее. Годится обсуждение фильма или разбор рабочей задачи.
Через пару десятков сообщений спросите кодовое слово.
Откройте новый чат и спросите его снова.

В старом чате слово, скорее всего, ещё на месте. В новом его не будет — и это главное, что нужно запомнить про память нейросетей.

Типичные ошибки

Вести один чат на все задачи месяцами
К этому моменту начало разговора уже выпало, а оставшееся мешает: модель путает задачи между собой.
Загружать документ целиком и ждать точного ответа по мелкой детали
Чем длиннее текст, тем выше шанс, что нужный абзац окажется в «слепой» середине. Спрашивайте по разделам.
Прятать главное требование в середину длинного запроса
Начало и конец модель удерживает лучше. Важное — в первое предложение или в последнее.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. Что нейросеть «помнит» о вашем прошлом разговоре в новом чате?
2. Куда лучше поместить самое важное требование в длинном запросе?

Коротко

Контекст — всё, что модель видит в момент ответа: запрос, история чата, файлы, инструкция сервиса.
Поле зрения ограничено. При переполнении начало разговора выпадает или сжимается.
Новая задача — новый чат. Итог старого можно перенести одним сообщением.
Середину длинного текста модель удерживает хуже краёв: важное ставьте в начало или конец.