метрики · методология
Почему ИИ-ассистент каждый раз отвечает по-разному — и как это честно измерять
Один и тот же вопрос — разные бренды в ответе. Почему так происходит, сколько раз нужно спрашивать и как отличить реальный рост видимости от случайности.
- Автор
- Команда KleoGEO
- Опубликовано
- Дата обновления
- Обновлено 16 октября 2026 г.
- Время чтения
- 4 мин чтения
Спросите ИИ-ассистента «какой робот-пылесос купить для квартиры с котом», а через минуту — ещё раз. Почти наверняка ответы будут отличаться: другой порядок, другие модели, иногда другие бренды. Для маркетолога это неудобно: скриншот, который вчера радовал руководителя, сегодня уже не повторяется.
Разберёмся, откуда берётся разброс и как с ним работать.
Почему ответы различаются
Языковая модель пишет ответ слово за словом и на каждом шаге выбирает продолжение с некоторой долей случайности. Поэтому два ответа на один вопрос — это два разных «броска», а не копии.
К этому добавляются ещё два источника изменчивости:
- Поиск источников. Многие ассистенты перед ответом ищут страницы в интернете. Выдача меняется, и ассистент может опереться на другие обзоры.
- Обновления моделей. Разработчики регулярно выпускают новые версии. После обновления ответы на те же вопросы могут заметно сдвинуться.
Что измерять вместо скриншотов
Правильная единица — не «ответ», а доля ответов, в которых назван бренд. Если задать ассистентам 40 вопросов покупателей по 3 раза и бренд появится в 37 ответах из 120, доля упоминаний — около 31%.
Но и эта цифра — оценка. Повторите замер завтра с теми же вопросами, и получится, скажем, 28% или 34%, хотя ничего не изменилось. Поэтому рядом с долей нужен доверительный интервал — диапазон, в котором с выбранной уверенностью лежит настоящее значение.
Насколько точна оценка при разном числе ответов
Ниже — ширина 95% интервала Уилсона: это стандартный способ считать интервал для доли, который ведёт себя корректно и при малых выборках, и при долях, близких к нулю (Wilson, 1927 (откроется в новой вкладке)).
| Ответов в замере | Доля 10% | Доля 30% | Доля 50% |
|---|---|---|---|
| 30 | 3,5–25,6% | 16,7–47,9% | 33,2–66,8% |
| 60 | 4,7–20,1% | 19,9–42,5% | 37,7–62,3% |
| 120 | 5,8–16,7% | 22,5–38,7% | 41,2–58,8% |
| 300 | 7,1–13,9% | 25,1–35,4% | 44,4–55,6% |
| 600 | 7,8–12,7% | 26,5–33,8% | 46,0–54,0% |
Что видно из таблицы:
- При 30 ответах разница между 30% и 45% ещё ничего не доказывает — интервалы перекрываются.
- Чтобы уверенно замечать изменения в 5–7 процентных пунктов, нужны сотни ответов.
- Удвоение числа ответов сужает интервал примерно в 1,4 раза, а не вдвое.
Повторы или больше вопросов?
Интервал в таблице посчитан так, будто все ответы независимы. На практике повторы одного вопроса похожи друг на друга сильнее, чем ответы на разные вопросы. Поэтому:
- Разнообразие вопросов важнее числа повторов. 60 разных вопросов по 2 раза дают более надёжную картину, чем 20 вопросов по 6 раз.
- Несколько повторов всё же нужны, чтобы увидеть, насколько устойчиво ассистент называет бренд на конкретный вопрос.
- Набор вопросов должен быть стабильным от замера к замеру — иначе вы сравниваете разные вещи.
Как читать изменения
Прежде чем радоваться росту или искать виноватых в падении, задайте три вопроса:
- Вышли ли новые значения за пределы прошлого интервала? Если нет, скорее всего, это шум.
- Изменились ли доли конкурентов так же? Если все бренды упали одновременно, причина может быть в обновлении модели, а не в вас.
- Что говорят сами ответы? Откройте тексты: какие источники цитирует ассистент, что пишет о вас, есть ли ошибки в фактах.
Как это устроено в KleoGEO
KleoGEO задаёт каждый вопрос каждому выбранному ассистенту несколько раз по расписанию и показывает долю упоминаний вместе с интервалом. Каждая цифра ведёт к сохранённым ответам, поэтому всегда можно открыть текст и проверить, что именно сказал ассистент.
Хотите посмотреть на свой бренд? Начните с или прочитайте, .
Сколько раз нужно задавать один вопрос?
Обычно достаточно 2–5 повторов. Важнее, чтобы вопросов было много и они покрывали реальные запросы покупателей.
Можно ли просто снизить «случайность» модели?
В пользовательских ассистентах — нет: покупатели получают ответы с обычными настройками, и измерять нужно именно их.
Почему у конкурента интервал уже, чем у нас?
Ширина интервала зависит от числа ответов и от самой доли. Если вопросов и повторов одинаково, при доле около 50% интервал шире, чем при доле около 10%.