Почему нейросеть придумывает — и как это заметить

Выдуманная ссылка выглядит так же, как настоящая. Разбираем, где модель врёт чаще всего и как поймать это за минуту.

После этого урока

Сможете за минуту определить, какие места в ответе нейросети требуют проверки, и проверить их тремя простыми приёмами.

Это явление называют галлюцинацией: модель уверенно сообщает то, чего нет. Не ошибается в вычислениях, не путает даты — именно сочиняет, причём складно и с деталями. Понять, почему так выходит, важнее, чем выучить список признаков.

Откуда это берётся

Модель подбирает наиболее вероятное продолжение. У вопроса «назови исследование о влиянии ИИ на производительность юристов» есть очень вероятное продолжение: название, похожее на настоящее, фамилии, похожие на настоящие, год. Существует ли такая работа, вопрос отдельный — на вероятность продолжения это не влияет.

Проще говоря, модель не знает разницы между «вспомнить» и «придумать». Для неё это одно и то же действие. Именно поэтому выдуманное выглядит так же убедительно, как настоящее: делалось оно тем же способом.

Уверенность ничего не значит

В человеческой речи уверенный тон обычно говорит о знании: сомневающийся мямлит. У нейросети этой связи нет вообще. Она одинаково уверенно сообщает проверенный факт и выдуманное название книги. Ориентироваться на тон — самая дорогая ошибка новичка.

Где придумывает чаще всего

Риск распределён неравномерно. Вот места, где надо быть настороже.

Ссылки и адреса страниц. Выдуманный адрес выглядит идеально правдоподобно.
Названия исследований, книг, статей и их авторы.
Точные цифры: проценты, суммы, даты, размеры выборки.
Цитаты. Особенно «красивые» цитаты известных людей.
Номера законов, статей и пунктов договоров.
Сведения о малоизвестных людях и небольших компаниях.
Возможности конкретных сервисов: что умеет тот или иной инструмент и сколько стоит.

И наоборот, риск низкий там, где важна форма, а не факт: переписать текст, объяснить общеизвестное, предложить варианты, составить план, найти ошибку в вашем рассуждении.

Признаки, по которым стоит насторожиться

Слишком гладко. Реальность обычно с оговорками: «в одних условиях так, в других иначе».
Слишком конкретно там, где вы не просили конкретики. Внезапная цифра с двумя знаками после запятой — повод проверить.
Ссылка на исследование без названия и авторов: «по данным исследований».
Ответ ровно той формы, которую вы подсказали вопросом. Спросили «какие три закона это регулируют» — получите ровно три, даже если их два или ни одного.

Три приёма проверки

Проверка занимает минуту, если знать, что делать.

Спросить про уверенность. Прямо в том же чате попросите отметить, что проверяемо, а что нет. Модель не всегда честна, но полезную часть сомнений обычно выдаёт.

Переспросить иначе. Задайте тот же вопрос в новом чате другими словами. Выдумка почти никогда не воспроизводится дословно, а настоящий факт — воспроизводится.

Проверить снаружи. Скопируйте название или цитату в поисковик. Если у работы нет следов нигде, кроме ответа нейросети, — её нет.

Промпт, который снижает число выдумок

Ответь на вопрос ниже. После ответа отдельным списком пометь: 1) что ты утверждаешь как проверенный факт, 2) в чём не уверен, 3) что нужно проверить самостоятельно и где именно. Если чего-то не знаешь — напиши «не знаю», не подставляй правдоподобное. Вопрос: [ваш вопрос]

Работает не идеально, но заметно сокращает число уверенных выдумок.

Почему нельзя просто «попросить не врать»

Фраза «отвечай только правду» помогает мало. Модель не различает правду и выдумку изнутри — ей нечего выключить. Работают другие вещи: разрешить сказать «не знаю», попросить источники и проверять самому. Мы вернёмся к этому подробно в курсе о безопасности и проверке информации.

Практика

Поймайте выдумку намеренно — так это запоминается лучше всего.

Спросите нейросеть о книге, которой точно не существует. Придумайте правдоподобное название и автора.
Посмотрите, признается ли она, что такой книги нет, или начнёт пересказывать содержание.
Если пересказала — попросите назвать издательство, год и ISBN. Обратите внимание, насколько уверенно они появятся.
Теперь задайте настоящий вопрос из своей работы и примените промпт выше.

Типичные ошибки

Верить, потому что звучит убедительно
Убедительность в нейросети не связана с правдивостью. Это разные механизмы, и первый работает всегда.
Копировать ссылки из ответа, не открывая их
Выдуманные адреса выглядят настоящими. Открывается или нет — вопрос двух секунд.
Просить «не выдумывать» и считать вопрос решённым
Помогает слабо: модель не видит разницы изнутри. Помогает разрешение сказать «не знаю» и проверка снаружи.
Проверять только то, что кажется странным
Выдумка редко кажется странной — в этом и суть. Проверять надо по типу сведений: цифры, имена, ссылки, цитаты.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. Какой ответ нейросети нуждается в проверке в первую очередь?
2. Вы задали один и тот же вопрос в двух новых чатах и получили два разных названия книги. О чём это говорит?

Коротко

Модель не различает «вспомнить» и «придумать» — для неё это одно действие.
Уверенный тон ничего не говорит о правдивости.
Больше всего риска в ссылках, названиях, цифрах, цитатах и сведениях о малоизвестных людях.
Три приёма: спросить об уверенности, переспросить иначе, проверить снаружи.