Для исходного замера открывайте каждый запрос в новом чате, вне проекта с материалами о вашей компании, и не прикладывайте презентацию или ссылку на свой сайт. Иначе вы проверите, насколько хорошо система использует переданную информацию, а не находит ли она компанию самостоятельно.
Отдельно проверьте настройки персонализации. В документации OpenAI объясняется, что
память и пользовательские инструкции могут переносить контекст между чатами. Для базовой проверки уберите подсказки о своём бизнесе из доступных настроек и запишите, что именно было отключено. Новый чат сам по себе не доказывает отсутствие такого контекста.
Запишите сервис и интерфейс, показанное название модели или режима, язык запроса, целевой регион, фактическое местоположение проверяющего и использование VPN, если он включён. Если какая-то характеристика недоступна, так и укажите. Не нужно угадывать внутреннюю версию модели или объявлять один аккаунт представителем всех пользователей страны.
Поиск тоже нужно подтвердить по самому ответу. OpenAI указывает, что
при использовании веб-поиска в чате появляются результаты поиска и цитаты. Просьба «найди в интернете» задаёт намерение, но для журнала важны видимые действия сервиса и реальные ссылки. Ответ без подтверждённого поиска сохраняйте отдельно, с пометкой «веб-поиск не подтверждён».
Повторите проверку, но не уговаривайте системуОдинаковый запрос не обязан каждый раз давать одинаковый текст:
OpenAI отдельно отмечает изменчивость генеративных ответов. Поэтому для стартового аудита предлагаем три прохода по одному и тому же набору, каждый раз в новых чатах. Это способ заметить нестабильность результата, а не получить научно точную вероятность рекомендации.
Сохраняйте все ответы, включая неудобные. Если после первого результата спросить «А почему ты не включил компанию X?», следующий ответ уже нельзя учитывать как самостоятельное появление бренда. Уточняющие диалоги полезны для отдельного исследования, но не должны подменять исходный замер.
Переформулировки тоже допускаются, только заранее добавляйте их в набор как самостоятельные запросы. Не меняйте текст по ходу теста, пока не получите приятный результат, и не сравнивайте его с прошлым месяцем так, будто условия остались прежними.