Как нейросеть учится: на примерах, а не по правилам

Откуда модель берёт свои знания, почему у них есть срок годности и почему две нейросети отвечают на один вопрос по-разному.

После этого урока

Сможете объяснить, откуда у нейросети знания, и перестанете ждать от неё свежих сведений о том, что произошло на этой неделе.

В прошлом уроке мы выяснили: нейросеть не хранит статьи и не ищет в них ответ. Тогда откуда она вообще что-то знает? Разберёмся — от этого зависят вполне бытовые вещи, вроде того, стоит ли спрашивать её о вчерашних новостях.

Два способа научить программу

Обычную программу пишут правилами. Хотите, чтобы она отличала спам от письма, — перечисляете признаки: слово «выигрыш» в теме, десять восклицательных знаков, незнакомый отправитель. Признаков нужны сотни, и любой новый приём спамеров приходится дописывать руками.

Нейросеть учат иначе: ей показывают сто тысяч писем, помеченных «спам» и «не спам», и она сама находит закономерности. Какие именно — никто заранее не задаёт. Это и сила подхода, и его слабость: работает лучше правил, но объяснить, почему модель решила так, а не иначе, часто не может никто, включая её авторов.

Три ступени обучения

Современную языковую модель делают в три приёма.

Предобучение. Модели дают гигантский объём текста и заставляют миллиарды раз угадывать следующее слово. Отсюда берётся всё: грамматика, факты, умение рассуждать, чувство стиля. Это самая долгая и дорогая часть — месяцы работы и вычисления стоимостью в десятки миллионов долларов.

Дообучение на примерах. После предобучения модель умеет продолжать текст, но не умеет быть собеседником. Её дообучают на примерах хороших ответов: вот вопрос — вот как на него стоит отвечать. Так она учится отвечать по делу, а не продолжать ваш вопрос ещё тремя похожими.

Настройка по оценкам людей. Наконец, людям показывают по два ответа модели и спрашивают, какой лучше. На этих оценках её подкручивают: быть полезнее, не грубить, не помогать с опасным. Именно на этой ступени закладывается характер модели — и то, из-за чего она иногда отказывается от безобидных просьб.

У знаний есть срок годности

Предобучение заканчивается в конкретный день. Всё, что случилось после, модель просто не видела. Эту дату называют границей знаний, и она — самое практичное, что стоит помнить из этого урока.

Проверяйте дату знаний

Нейросеть не скажет «я этого не знаю, это было позже». Она достроит правдоподобный ответ из того, что знала раньше. Спросите её о событии прошлой недели — и получите уверенный рассказ, не имеющий отношения к действительности.

Частично это обходится: многие сервисы умеют искать в интернете и подставлять найденное в ответ. Но это уже не «модель знает» — это «модель прочитала страницу прямо сейчас». Разница важная: в первом случае проверять нечего, во втором есть ссылка, по которой можно пойти.

Промпт, с которого стоит начинать работу с незнакомой моделью

До какой даты доходят твои знания? Умеешь ли ты искать в интернете прямо сейчас, и как я пойму, что конкретный ответ основан на поиске, а не на обучении?

Ответ стоит перепроверить на сайте разработчика: модель может ошибаться и в этом.

Почему модели отвечают по-разному

На один и тот же вопрос две нейросети дают разные ответы, и дело не в том, что одна «умнее».

Их учили на разных текстах — и на разном их количестве.
Их по-разному дообучали: одну просили быть краткой, другую — подробной.
У них разные правила о том, чего касаться не стоит.
Даже одна и та же модель отвечает по-разному дважды: в выборе следующего слова заложена доля случайности.

Последнее удивляет сильнее всего. Задайте один вопрос дважды — получите два разных текста. Это не сбой, а устройство: строго одинаковые ответы делали бы модель предсказуемой и скучной.

Чего обучение не делает

Распространённое заблуждение: «я поговорил с нейросетью, теперь она этому научилась». Нет. Обучение — отдельный долгий процесс, который идёт у разработчика. Ваш разговор на модель не влияет: в следующем чате она вас не помнит.

Отдельный вопрос — попадут ли ваши сообщения в обучение будущих версий. У разных сервисов по-разному, и это настраивается. Подробно разберём в курсе о безопасности, а пока держите простое правило: не отправляйте в нейросеть то, что не готовы увидеть у посторонних.

Практика

Проверьте границу знаний на своей модели.

Спросите, до какой даты доходят её знания.
Спросите о событии, которое произошло на этой неделе и которое вы хорошо знаете.
Сравните ответ с тем, что было на самом деле.

Если модель уверенно рассказала о том, чего не знает, — вы только что своими глазами увидели то, чему посвящён четвёртый урок.

Типичные ошибки

Спрашивать нейросеть о свежих новостях
Если сервис не ищет в интернете, ответ будет выдуман. Для новостей есть новости — в том числе у нас.
Думать, что модель запоминает ваши разговоры и учится на них
Обучение идёт у разработчика и занимает месяцы. Новый чат начинается с чистого листа.
Считать более новую версию лучше во всём
Новые версии обычно сильнее, но не обязательно в вашей задаче. Единственная проверка — попробовать на своём материале.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. Вы спросили нейросеть про новость трёхдневной давности, и она уверенно ответила. Что вероятнее всего произошло?
2. Почему один и тот же вопрос дважды даёт два разных ответа?

Коротко

Нейросеть учат на примерах, а не правилами: закономерности она находит сама.
Три ступени: предобучение на огромном тексте, дообучение на хороших ответах, настройка по оценкам людей.
У знаний есть дата окончания. Про то, что было позже, модель достроит правдоподобное.
Ваши разговоры модель не обучают и в следующем чате не помнятся.