Как не допустить невыполнимых обещаний в ответах ИИ

Для справочных и сервисных ответов разделяйте объяснение публичной информации, передачу сотруднику и фактическое бронирование. OWASP: Excessive Agency помогает определить разрешённые действия и согласование. Далее рассматриваются границы ответов без инструкций автоматической отправки для отдельных платформ.

Даже естественно звучащий информационный ответ не должен без подтверждения обещать, что сотрудник свяжется позже или придет в определенное время, если нет оснований считать действие выполнимым. В этом обобщенном описании внутреннего процесса ответов не указаны конкретная платформа или беседа.

Определите, что помощник может объяснять, а что — выполнять

Объяснение открытой информации, уточнение пожеланий собеседника и фактический контакт или участие — разные возможности. Явно задайте роль помощника в инструкциях и применяйте ее к первым и последующим ответам, а также к проверке перед отправкой. Повышение уровня рассуждений не дает полномочий на действия и не открывает расписание сотрудника.

Учитывайте состояние беседы, а не только ключевые слова

Передавайте исходную публикацию, подтвержденную недавнюю переписку, факт уже выданной рекомендации, вопросы, требующие ответа, и состояние беседы. Не классифицируйте человека как желающего участвовать только по совпадению слова, если он выразил другое предпочтение. Ошибочное обещание из прежнего ответа ИИ тоже не доказывает, что кто-то намерен его выполнить.

Проверяйте говорящего и смысл до отправки

«Сотрудник свяжется с вами позже» — обещание от имени того, кто должен действовать. Цитата собеседника и общая ссылка на мероприятие имеют другой смысл. Вместо безусловной блокировки строки проверяйте роль, состояние беседы и основания для действия. Неоднозначный ответ задерживайте и при необходимости передавайте человеку. Также нужна граница, которая не позволит продолжить генерацию так, будто источники проверены, если поиск завершился ошибкой или вернул некорректный ответ. Это условие остановки на стороне получения данных подтверждено только исправленным кодом и проверкой PR; работа этого пути в production не подтверждена.

Не путайте похожие формулировки и разные типы запросов

Отличайте публикацию с набором участников от сообщения человека о желании присоединиться. Похожие слова не делают продукты, редакции или условия использования одинаковыми; не смешивайте рекомендации для разных сред. До отправки проверяйте также благодарности без оснований и ответы, в которых собеседник уже считается принятым. Даже при приоритете ответов ограничивайте ожидание при лимите запросов и предотвращайте повторы. Ожидание или пропуск ответа нельзя записывать как успешную отправку.

Повторно проверяйте старые черновики по текущим условиям

Черновик, прошедший проверку при создании, может устареть после изменения беседы или политики. Непосредственно перед отправкой проверьте его по последнему состоянию и не отправляйте черновики закрытых бесед. Пропуск отправки и закрытие беседы записывайте отдельно от успешной отправки. Ответ можно не отправлять, если ненужный вопрос лишь затянет переписку.

1. 1 Определите говорящего и запрос Проверьте, является ли сообщение приглашением или желанием участвовать, нужную редакцию и состояние беседы.
2. 2 Отвечайте в пределах подтверждений Сообщайте только о том, что действительно можно сделать, и перепроверяйте перед отправкой.
3. 3 При сомнении приостановите Не считайте сбой или неверный формат поиска подтверждением; передайте человеку. Ограничивайте ожидание и подавляйте повторы.

Что проверено и что пока не доказано

Классификацию и проверки перед отправкой изменили, запустили регрессионные тесты, просмотрели сгенерированные черновики и провели ограниченное наблюдение после публикации. Это не доказывает безопасность для каждой беседы, перефразирования или смены модели. Для внешней отправки, помимо проверки содержания, нужны операционные полномочия и согласование. Описанное выше условие остановки при ошибке поиска проверили в коде и PR; его работа в production остается неподтвержденной.

О границе поискового ввода см. Безопасная синхронизация общедоступного HTML с Vectorize; об отображении — Безопасное отображение Markdown-ссылок в ответах ИИ-чата.