Сотрудники пересылают подозрительные письма в службу поддержки, и разбор постепенно занимает всё больше времени. Подрядчик предлагает подключить ИИ для первичной оценки. Перед пилотом руководителю полезно согласовать, какие решения система сможет принимать, по каким признакам проверят её работу и кто разберёт спорные случаи. Уверенное объяснение модели само по себе ещё не подтверждает правильность вывода.
Ниже описан учебный порядок оценки почтовой защиты. Он подходит для обсуждения задания с подрядчиком; результаты испытаний конкретной системы здесь не приводятся. Для пилота нужны согласованные тестовые материалы и разрешённая рабочая среда. Реальные письма с личными сведениями и внутренними документами в общедоступный чат переносить не следует.
Что умеет подключённый агент
В документации Microsoft Learn описан Phishing Triage Agent, который оценивает письма, отмеченные пользователями как подозрительные, и объясняет решение. Он обращается к подключённым инструментам и сведениям об угрозах. В описанном процессе агент самостоятельно закрывает ложные срабатывания, а случаи, признанные вредоносными, остаются открытыми для дальнейшего расследования аналитиком. Работа связана с Security Copilot, предоставленными вычислительными единицами SCU и Defender for Office 365 Plan 2. Условия подключения нужно проверить для своей организации.
Этот пример показывает, как ИИ включают в действующий процесс защиты почты. Анализ скопированного текста обычным чат-ботом даёт другой объём сведений. По такому диалогу нельзя считать выполненной техническую проверку отправителя или вложения. При обсуждении продукта попросите подрядчика перечислить доступные источники данных и показать, какие из них участвовали в каждом решении.
Какие ошибки считать отдельно
Для оценки нужны заранее определённые категории. Ложноположительное решение означает, что обычное сообщение сочли опасным. Ложноотрицательное возникает, когда опасное письмо пропустили как допустимое. Считайте эти ошибки отдельно и указывайте, сколько проверенных сообщений соответствующего типа было в наборе. Одна общая доля верных ответов скрывает различия между ними.
Цена ошибок зависит от рабочего процесса. Ошибочная задержка письма о текущем заказе мешает сотруднику вовремя ответить клиенту. Пропуск опасного сообщения создаёт риск для получателя и организации. Эти последствия стоит обсудить с владельцем процесса до испытаний, чтобы порог допуска не появился задним числом. Универсального соотношения стоимости двух ошибок для любого бизнеса нет.
Как учитывать нехватку данных
Добавьте категорию "недостаточно данных" и заранее опишите основания для неё. Например, в учебном наборе может отсутствовать часть служебных сведений, необходимых эксперту для вывода. Такой случай нужно учитывать отдельно. Если система уверенно объявила его безопасным, это повод проверить обоснование и правила передачи аналитику. Число неопределённых решений тоже фиксируйте, поскольку они создают ручную работу.
Учебный пример критериев
Следующая таблица показывает форму обсуждения с подрядчиком. Все три ситуации учебные; описания не являются образцами настоящих писем и не подтверждают качество какого-либо продукта.
| Учебный случай | Как оценить решение | Когда нужен человек |
|---|---|---|
| Эксперт заранее отметил письмо как опасное | Система выявила риск и связала вывод с доступными признаками. Допуск такого случая учитывается как ложноотрицательная ошибка. | Аналитик подтверждает дальнейшее действие по согласованному процессу. |
| Эксперт заранее отметил письмо как обычное | Система допустила сообщение. Ошибочное признание опасным учитывается как ложноположительное решение. | Специалист разбирает причину ошибочной задержки и способ её исправления. |
| Эксперту недостаточно предоставленных сведений | Система обозначила ограничение и указала, каких данных не хватает. Неопределённый ответ учитывается отдельно. | Назначенный сотрудник уточняет сведения и принимает итоговое решение. |
Обоснование проверяйте вместе с итоговой категорией. Ответ может случайно совпасть с экспертной оценкой, опираясь на выдуманный признак. Попросите отмечать такие случаи в протоколе отдельно. Для автоматического действия существенны и правильность вывода, и возможность объяснить его по действительно доступным данным.
Как провести пилот с подрядчиком
Предлагаемый порядок помогает получить проверяемое решение о дальнейшем подключении. Для учебного пилота достаточно ограниченной задачи первичного разбора, в которой действия и ответственность заранее описаны.
- Составьте согласованный тестовый набор. Эксперт размечает его до получения ответов модели и записывает основания оценки. Часть материалов оставьте для отдельной итоговой проверки, чтобы настройка системы не свелась к запоминанию разбираемых случаев.
- Зафиксируйте условия запуска: версию решения, доступные инструменты, категории ответов и ограничения прав. Начните с выдачи рекомендаций аналитику. Отдельно согласуйте, при каких условиях можно будет разрешить автоматическое действие.
- Сопоставьте ответы с экспертной разметкой. Подсчитайте пропуски опасных сообщений, ошибочные ограничения обычных и случаи нехватки данных. Сохраните размеры соответствующих групп; спорную экспертную оценку рассмотрите повторно.
- Проверьте протокол решения. Он должен связывать тестовый случай, доступные сведения, вывод системы, объяснение и итог аналитика. Заранее определите ответственного за эскалацию, срок реакции и порядок исправления ошибочного решения.
- Обсудите результаты по установленным критериям. Перечислите допустимые действия, оставшиеся ограничения и причины остановить пилот. После изменения настроек повторите согласованную проверку, сохранив сведения о том, что именно изменилось.
Рекомендации Австралийского центра кибербезопасности по внедрению агентных ИИ-сервисов предлагают начинать с узкой задачи с невысоким риском, ограничивать права и сохранять человеческий контроль. Для почтового пилота это можно выразить конкретными условиями: агент рекомендует категорию, спорное сообщение получает назначенного аналитика, расширение полномочий требует отдельного решения.
Какое решение о подозрительном письме в вашей организации обязательно должен подтвердить специалист?