Можно ли изменить то, что AI говорит о вас?

Можно изменить публичные сведения и проверить последующие ответы. Чтобы установить причину изменения ответа, нужны дополнительные доказательства.

Примечание к редакции. Здесь уточнены прежние утверждения о поведении AI и работе других сервисов. Июльские и августовские записи ниже являются ретроспективными заметками автора. Полные запросы, ответы и сведения о сеансах к этой странице не приложены. Поэтому эти записи нельзя использовать как воспроизводимую исходную серию или проверенный кейс улучшения.

Упоминание и рекомендация отвечают на разные вопросы

Появление имени в ответе можно наблюдать. Само по себе оно не доказывает, что система нашла конкретную страницу. Список кандидатов показывает варианты; явная рекомендация советует пользователю определённый вариант при заданных условиях. Это помогает описать ответ, не приписывая себе знание внутреннего процесса выбора модели.

Независимые подтверждения могут быть важны для покупателя. Термином corroboration gap я обозначаю расстояние между опубликованным утверждением и его независимым подтверждением. Но объясняет ли такой пробел конкретный ответ AI, нужно проверять отдельно.

Первым объектом стала я

Я начала с собственной публичной идентичности, потому что могла менять её, вести записи и принимать неудобные результаты. SKINBOT входит в этот опыт как работа над AI-системой принятия решений. Он не должен заменять мою текущую профессиональную роль: основатель Legibi и стратег по AI legibility.

В первоначальных заметках были четыре точки: 16 июля система путала людей с одинаковым именем и использовала устаревшее описание бизнеса; 7 августа несколько систем лучше определяли личность; 16 августа два ответа, по моей оценке, выбирали или рекомендовали меня. Это сообщения автора о наблюдениях, а не независимо проверенные выводы. Для оценки их как исследования нужно опубликовать и проверить исходные записи.

Что показывает один ответ

Сохранённый ответ фиксирует результат конкретного сеанса. Он не показывает, как часто такой ответ получают другие люди. Повторные прогоны позволяют оценить результаты внутри определённого набора тестов, если указаны интерфейс, даты, язык, рынок, запросы и исключения. Это не частота частных пользовательских запросов и не доля рекомендаций на всём рынке.

В исторических заметках также описаны ответы, которые рекомендовали меня, но называли сведения моими собственными утверждениями и предлагали покупателю дополнительные проверки. Это полезное различие для исследования: присутствие в ответе и достаточность доказательств нужно учитывать отдельно. Оно не даёт оснований утверждать, что другие аудиторы и платформы не проверяют доказательства или актуальность информации.

Личность и текущая деятельность требуют отдельных проверок

Система может правильно определить человека, но описать его работу по устаревшим сведениям. Возможные причины связаны с источниками, актуальностью или интерпретацией. Ответ сам по себе не устанавливает механизм ошибки. Сначала нужно сохранить неточное утверждение, наблюдаемые источники и актуальные сведения, затем предлагать исправление.

Как проверять изменение

Разница между ответами до и после является наблюдением. Для оценки вмешательства нужно сохранить исходные ответы, точно описать изменения, повторить основные сценарии в сопоставимых условиях и учесть неудачные попытки. Неизменённые сценарии сравнения помогают заметить общие сдвиги. Эти действия не гарантируют рекомендацию и сами по себе не устанавливают причинность.

Описательный аудит полезен и без контрольной группы: он может выявить неверные факты и практические пробелы. Для причинного вывода нужен более строгий дизайн. Протокол Synthetic Term Control проверяет один вид необоснованной атрибуции, но не служит универсальным контролем для всех изменений рекомендаций.

Повтор в сентябре, упомянутый в оригинале, был планом. Завершённый сентябрьский отчёт здесь не опубликован. Дата в расписании не доказывает, что прогон состоялся или прежний результат сохранился.

Запись, которую можно проверить сейчас

17 октября ChatGPT назвал других консультантов. В отдельной записи есть точный запрос, полный ответ и наблюдаемые ссылки. Также указаны неудачные попытки и причины исключения ответа из строгой исходной серии T0. Моего имени в ответе нет. Мы начали с себя, чтобы сделать проверяемыми и те результаты, которые нам неудобны.