Что нейросеть делает хорошо, а что плохо

Честная карта сильных и слабых мест — и правило черновика, которое снимает большинство проблем разом.

После этого урока

Сможете с первого взгляда на задачу сказать, стоит ли звать нейросеть и в какой роли — и в каких областях к ней лучше не ходить вовсе.

К этому моменту вы знаете, как модель устроена. Пора свести это в практическую карту: где она сильна, где слаба и где ей вообще не место.

Где сильна

Общее правило: нейросеть хороша там, где важна форма, структура и количество вариантов — и где результат проверяет человек.

Переписать: сократить, развернуть, упростить, сменить тон, переложить на другую аудиторию.
Объяснить сложное простыми словами — на том уровне подробности, который вы попросите.
Дать двадцать вариантов заголовка, названия, формулировки за минуту.
Перевести — особенно если объяснить контекст и назначение текста.
Собрать черновик: письма, плана, структуры документа, списка вопросов.
Разобрать ваш текст: найти нестыковки, слабые доводы, пропущенные возражения.
Вытащить из длинного текста нужное: решения, даты, поручения, условия.
Побыть собеседником, когда надо продумать мысль вслух.

Где слаба

Точные сведения: цифры, даты, имена, цитаты, ссылки, номера статей.
Свежесть — если сервис не ищет в интернете.
Ваш личный контекст: что происходит в вашей компании, чего хочет конкретный клиент, какая у вас история.
Длинные многошаговые задачи без вашего участия: чем длиннее цепочка, тем вернее она уедет не туда.
Единственно верный ответ: модель даёт правдоподобный, а не единственно верный.

Правило черновика

Нейросеть делает первый вариант, вы — последний. В этой расстановке её слабые места почти не вредят: выдумку вы поймаете при вычитке, недостающий контекст добавите сами. В обратной — когда её ответ уходит заказчику как есть — вредят все сразу.

Где ей не место

Есть области, где дело не в качестве ответа, а в цене ошибки и в ответственности.

Медицина. Разобраться в терминах из выписки, подготовить вопросы врачу, понять, что означает показатель, — пожалуйста. Ставить диагноз и подбирать лечение — нет. Модель не видела вас, не знает вашей истории и ни за что не отвечает.

Право. Объяснить смысл пункта договора, составить черновик претензии, подготовиться к разговору с юристом — да. Полагаться на её трактовку закона в деле, где есть цена вопроса, — нет. Номера статей она путает особенно охотно.

Деньги. Разобраться, чем отличаются виды вкладов, — да. Решать, куда вложить сбережения, — нет.

Психологическая помощь. Выговориться и разложить мысли бывает полезно. Но это не терапия, и в тяжёлом состоянии нужен человек, а не программа.

Общее в этих четырёх случаях одно: нейросеть годится, чтобы подготовиться к разговору со специалистом, и не годится, чтобы его заменить.

Отдельно про арифметику

Языковая модель по природе не считает, а предсказывает — поэтому долго путалась в умножении длинных чисел. Современные сервисы это обходят: запускают настоящий калькулятор или пишут программу и выполняют её.

Практический вывод: если ответ важен, попросите показать вычисление по шагам или прямо сказать, считала модель сама или посчитала программой. И перепроверьте на калькуляторе — это пять секунд.

Промпт для честной оценки задачи

Вот моя задача: [опишите задачу]. Ответь на три вопроса. 1) Что здесь можешь сделать ты и насколько надёжно. 2) Что придётся сделать мне и что обязательно проверить. 3) Есть ли часть, где тебя лучше не использовать вовсе — и почему. Не смягчай: мне нужна честная оценка, а не обещание.

Третий вопрос — главный. Если модель не находит ни одного ограничения, задайте его ещё раз настойчивее.

Практика

Проверьте правило черновика на своей работе.

Возьмите текст, который вам всё равно нужно написать на этой неделе: письмо, объявление, инструкцию.
Попросите нейросеть сделать черновик — с контекстом и понятной задачей.
Вычитайте его и отметьте всё, что пришлось поменять.
Посмотрите на список правок: это и есть та часть работы, которую нейросеть за вас не сделает никогда.

Типичные ошибки

Отправлять ответ нейросети дальше без вычитки
Правило черновика нарушается ровно здесь. Все слабые места модели попадают адресату разом.
Спрашивать совета там, где нужен специалист
Медицина, право, деньги, психика. Нейросеть готовит к разговору со специалистом, но не заменяет его.
Ждать, что модель знает вашу ситуацию
Она не знает ни вашей компании, ни клиента, ни предыстории. Всё это нужно рассказать — об этом весь второй курс.

Проверьте себя

Ответы нигде не сохраняются — отвечайте спокойно и пробуйте сколько нужно.

1. В какой из задач нейросеть наименее надёжна?
2. В чём смысл правила черновика?

Коротко

Сильна там, где важны форма, структура и количество вариантов.
Слаба в точных сведениях, свежести и вашем личном контексте.
Правило черновика: модель делает первый вариант, вы — последний.
Медицина, право, деньги, психика: готовит к разговору со специалистом, но не заменяет его.