Все статьи

Как сравнить два промта на рабочих примерах и выбрать подходящий

Материал обновлён 21 октября 2026 года.

Новый промт выдаёт более аккуратную таблицу, и команде кажется, что помощник стал работать лучше. Однако красивое оформление может скрыть пропущенное поручение или выдуманный срок. Для выбора инструкции полезен небольшой одинаковый набор рабочих примеров и заранее определённые ошибки. Тогда решение можно объяснить результатами проверки, сохраняя ограничения небольшого исследования.

Сначала сформулируйте критерии

Рассмотрим учебное сравнение двух промтов, которые выделяют задачи из заметок встречи. Вариант А содержит короткую просьбу, вариант Б отдельно описывает неопределённости и требует основание для каждой строки. До запуска определите одинаковые критерии для обоих вариантов.

  • Все ли поручения найдены?
  • Появились ли лишние задачи?
  • Правильно ли указаны ответственные?
  • Сохранились ли неизвестные сроки как неопределённости?

Разделите критические и редактируемые ошибки. Выдуманное обязательство сотрудника может остановить применение результата, тогда как неточная пунктуация исправляется при просмотре. Правило оценки должно быть одинаковым для обоих вариантов. Если сначала увидеть ответы, а потом придумать критерии, предпочтение легко подстроится под понравившийся текст.

Подготовьте постоянный набор примеров

Для начала можно выбрать двенадцать обезличенных записей как учебный размер набора. Добавьте ясные поручения, обсуждения без решения, относительные даты и противоречивые уточнения. Число примеров само по себе не обеспечивает представительность. Состав набора должен отражать реальные трудности вашей команды, включая редкие ошибки с серьёзными последствиями.

Ответственный сотрудник заранее размечает ожидаемые задачи и допустимые неопределённости. Для спорных случаев сохраняют пояснение к решению. Затем набор фиксируют и используют в обоих запусках. Полезно оставить несколько отдельных записей для контрольной проверки после доработки промта, чтобы инструкция не приспосабливалась исключительно к уже известным примерам.

Сделайте условия сравнения сопоставимыми

Зафиксируйте сервис, точную модель, доступные настройки генерации, максимальный объём ответа и дату проверки. Передавайте одинаковые материалы в одинаковом порядке. Если результат заметно меняется между повторениями, заранее выберите число запусков и примените его к обоим вариантам. Ограничения доступа или модели следует записывать вместе с результатом.

Документация Google по проектированию промтов описывает итерационную доработку. Документация сервиса оценки генеративных моделей Google рассматривает оценивание по выбранным критериям и наборам данных. Для небольшого процесса достаточно понятной ручной таблицы; наличие специализированного сервиса не отменяет определения того, что именно считается правильным ответом в вашей работе.

Посчитайте результаты по каждому признаку

У каждой записи сохраняют оба ответа и отдельные оценки критериев. Для ручного отчёта можно использовать такую структуру.

Структура учебного отчёта о сравнении
Часть записиЧто сохранить
Исходный примерОбезличенную запись встречи из зафиксированного набора.
Ответы вариантовПолные результаты промтов А и Б.
ОценкиОтдельный результат по каждому заранее выбранному критерию.
ПояснениеОснование решения для спорного случая.

Запись "верный ответственный в 10 из 12 примеров" понятнее общего балла, если правило подсчёта описано. Эти числа здесь приведены только как образец отчёта; проведённого сравнения за ними нет. Объединённая оценка может скрыть критический провал по одному важному признаку.

Отдельно измерьте фактическую длительность запроса, потребление по отчёту сервиса и время редактирования человеком. Более длинный ответ способен потребовать дополнительных ресурсов и просмотра. Цены и правила тарификации проверяют на дату запуска у выбранного поставщика. Сравнение качества и затрат полезно обсуждать по конкретному рабочему сценарию, учитывая допустимые риски.

После выбора сохраните версию промта, набор и причины решения. Изменение модели или входных документов является поводом повторить оценку на прежних и новых случаях. Небольшая выборка показывает проблемы в проверенных задачах, однако не даёт гарантии поведения на любом будущем документе. Ручной контроль значимых результатов следует сохранять по принятому процессу.

Настройку и проверку ИИ-процессов на материалах бизнеса можно обсудить с Семёном Дулесовым.

Какую ошибку ИИ вы бы сделали отдельным обязательным критерием своего сравнения?