Пять видов ошибок ИИ, а не одни галлюцинации

Выдумки — только один из способов ошибиться. Разбираем остальные четыре, которые замечают реже и которые вредят не меньше.

После этого урока

Сможете распознавать не только выдуманные факты, но и устаревшее, поддакивание, перекос и ложную уверенность.

В первом курсе мы разобрали галлюцинации — выдуманные факты. Это самая известная ошибка, но далеко не единственная. Остальные четыре тише, и именно поэтому опаснее.

1. Выдумка

Модель сообщает то, чего нет: несуществующая книга, выдуманная ссылка, правдоподобный, но ложный номер статьи. Механизм разбирали: она не различает «вспомнить» и «придумать».

Узнаётся по типу сведений — имена, цифры, ссылки, цитаты. Лечится проверкой снаружи.

2. Устаревшее

Ответ был верен год назад. Цена изменилась, сервис закрылся, закон поправили, компания сменила название. Модель говорит о мире на момент своего обучения и не знает, что он изменился.

Самое коварное здесь — то, что устаревший ответ проверяется и подтверждается: вы находите ту самую страницу двухлетней давности. Поэтому у источника всегда смотрят дату.

3. Поддакивание

Вы говорите «мне кажется, тут ошибка», и модель соглашается — даже если ошибки нет. Её учили быть полезной, а согласие выглядит полезнее спора.

Проверка простая: усомнитесь в правильном ответе и посмотрите, будет ли модель его защищать. Если она сдаётся с первого нажима, её согласию грош цена.

Промпт против поддакивания

Я хочу проверить твой ответ. Не соглашайся со мной из вежливости: если я неправ, скажи прямо и объясни, в чём именно. Если прав — признай и объясни, где ты ошибся. Ответ «возможно, вы правы» без разбора меня не устраивает. Моё возражение: [ваше сомнение]

Без этой преамбулы вы получите согласие почти на любое возражение, включая неверное.

4. Перекос

Модель училась на текстах, написанных людьми, — со всеми их перекосами. Отсюда ответы, которые незаметно склоняются в одну сторону: чаще упоминают известное в ущерб малоизвестному, воспроизводят стереотипы о профессиях и странах, подают спорное как общепринятое.

Практически это значит: на вопросах «что лучше», «кого выбрать», «как принято» стоит отдельно спросить о другой стороне.

5. Ложная уверенность

Не отдельная ошибка, а усилитель всех остальных. Модель говорит одинаково уверенно и о том, что знает точно, и о том, что достроила. В человеческой речи тон выдаёт сомнение — здесь не выдаёт ничего.

Главный вывод курса

Ответ нейросети — это черновик, к которому прилагается работа по проверке. Не «иногда стоит проверить», а «проверка входит в процесс». Дальше в курсе мы сделаем её быстрой: пять минут вместо получаса.

Где риск выше всего

Узкие темы: чем меньше о предмете написано, тем охотнее модель достраивает.
Свежие события — если сервис не ищет в интернете.
Местная специфика: российские законы, порядки, сервисы, цены.
Всё, где есть точное число или имя.
Вопросы, на которые вы уже намекнули желаемый ответ, — сработает поддакивание.

Где риск низкий

Не будем перегибать: есть большая область, где проверять почти нечего. Переписать, сократить, объяснить общеизвестное, предложить варианты, найти нестыковку в вашем рассуждении, составить план. Там модель работает с формой, а не с фактами, и ошибки видны сразу.

Умение отличать одну область от другой экономит больше времени, чем любой приём проверки.

Практика

Проверьте модель на поддакивание.

Задайте вопрос, ответ на который вы точно знаете.
Получив верный ответ, скажите, что он неправильный, — не объясняя почему.
Посмотрите, будет ли модель защищать правильный ответ или согласится.
Повторите с преамбулой из урока и сравните поведение.

Типичные ошибки

Проверять только выдумки
Устаревшее, поддакивание и перекос вредят не меньше, а замечаются реже.
Не смотреть дату у источника
Устаревший ответ подтверждается настоящей страницей — просто двухлетней давности.
Подсказывать желаемый ответ в вопросе
«Ведь это же так?» почти гарантирует согласие. Спрашивайте нейтрально.
Проверять всё подряд
Там, где важна форма, а не факт, проверять нечего. Умение различать эти области экономит больше всего.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. Вы усомнились в верном ответе, и модель сразу согласилась с вами. Что это?
2. Почему устаревший ответ опаснее выдуманного?

Коротко

Пять видов ошибок: выдумка, устаревшее, поддакивание, перекос, ложная уверенность.
У источника всегда смотрят дату — иначе устаревшее подтвердится.
Согласие модели с вашим возражением само по себе ничего не значит.
Есть большая область, где проверять нечего: там, где важна форма, а не факт.