Как выбрать нейросеть под свою задачу

Мы разобрали типы инструментов, признаки сравнения и вопрос денег. Пора собрать это в порядок действий, который работает для любой задачи.

Пять шагов

Сформулируйте задачу как работу, а не как инструмент. «Мне нужна нейросеть» — не задача. «Мне нужно каждую неделю превращать часовой созвон в список поручений» — задача. Пока формулировки нет, выбирать не из чего.

Определите тип. По пятому уроку. В примере выше это распознавание речи плюс языковая модель — два инструмента, а не один.

Отсейте по доступности. Проверьте, что сервис открывается, пускает регистрироваться и принимает оплату, если она нужна. Сузьте список до двух-трёх.

Прогоните один и тот же тест. Ключевой шаг, который почти все пропускают. Возьмите настоящий материал из своей работы — не придуманный — и дайте всем сервисам одинаковый запрос.

Сравните по тому, что вам важно. Не «где красивее», а сколько правок пришлось внести, сколько времени ушло, что пришлось объяснять дважды.

Как составить тестовый запрос

Хороший тест — не «напиши что-нибудь». Он должен быть похож на вашу настоящую работу.

• Берите реальный материал: настоящее письмо, настоящий фрагмент документа, настоящую расшифровку.
• Включите то, что обычно ломает результат: профессиональные термины, сокращения, имена, цифры.
• Задайте проверяемое требование: длина, структура, тон. Иначе сравнивать будет нечего.
• Прогоните один и тот же запрос дважды в каждом сервисе — разброс ответов тоже показатель.

По чему сравнивать результаты

Сведите к четырём вопросам — на них отвечают быстро и честно.

1. Сколько правок пришлось внести, чтобы результат стал пригодным?
2. Выполнил ли сервис требования — объём, структуру, тон? Или сделал по-своему?
3. Выдумал ли что-нибудь? Проверьте по четвёртому уроку.
4. Сколько времени ушло целиком, вместе с уточнениями?

Победитель — тот, где меньше всего правок при выполненных требованиях. Не тот, где ответ показался красивее: красота уходит, а правки остаются каждый раз.

Когда стоит остановиться на двух сервисах

Многие в итоге пользуются двумя: одним постоянно, вторым — для того, что первый делает плохо. Это нормально и часто дешевле, чем искать идеальный.

Второй сервис особенно полезен для перепроверки: спорный ответ прогоняют через другую модель. Совпали — скорее всего, верно. Разошлись — точно надо проверять самому.

Готовые описания сервисов — в разделе «Нейросети». Наша оценка моделей — в разделе «Рейтинг».