Инженер со стойкой смартфонов для тестирования ответов, в руке планшет
Методика

Методика замера

Всё, что делает замер, — открыто: вопросы, расчёты, ограничения.

Вопросы

По описанию компании («чем занимается» и «где работает») сервис составляет 5 вопросов покупателя по шаблонам: «где купить», «посоветуй компанию», «кого выбрать», «на что смотреть при выборе», «какие компании хорошо делают». Пользователь может их поправить. Название компании в вопросы не входит: мы проверяем, назовёт ли нейросеть компанию сама.

Отдельно задаётся прямой вопрос: «Что ты знаешь о компании …?» Он нужен для проверки фактов и в видимость не входит.

Нейросети и прогоны

  • Алиса / Нейро (Яндекс) — через Yandex Search API, режим генеративного ответа с источниками.
  • GigaChat (Сбер) — через GigaChat API, модель GigaChat.

Каждый вопрос задаётся каждой нейросети 3 раза с разносом во времени: ответы нейросетей случайны, и один ответ ничего не доказывает. Итого до 30 ответов на вопросы покупателя и 2 ответа на прямой вопрос. Если какая-то нейросеть недоступна, замер идёт по остальным, и в отчёте это видно.

Как узнаём компанию в ответе

Ищем в тексте название компании, другие названия из формы, адрес сайта и его основу (например, «albela» для albela.ru). Регистр, буква «ё», кавычки и тире не важны. Позиция считается, если ответ — нумерованный или маркированный список: номер первого пункта, где есть компания.

Метрики

  • Видимость = ответы с упоминанием компании / все полученные ответы на вопросы покупателя × 100 %.
  • Средняя позиция — среднее по ответам-спискам с упоминанием.
  • Ссылки на сайт — ответы, где сайт компании есть среди источников или назван в тексте.
  • Доля голоса = упоминания компании / (упоминания компании + упоминания конкурентов) × 100 %. Только если указаны конкуренты.
  • Другие источники — сайты из источников ответов, кроме сайта компании, по частоте.

Итог

«Не видна» — 0 %, «Видна иногда» — 1–39 %, «Видна» — 40–79 %, «В лидерах» — 80 % и выше.

Ограничения

  • Ответы через API могут отличаться от ответов в приложении Алисы и в чате GigaChat: другая версия модели, регион, история, настройки.
  • Поиск названия по тексту может ошибаться: пропустить сильно искажённое название или засчитать тёзку. Все ответы приложены к отчёту целиком — их можно проверить.
  • Пять вопросов — выборка, а не весь спрос. Для решений нужен аудит с большим числом вопросов.
  • Замер — срез на дату. Ответы меняются со временем.

Хранение и лимиты

Отчёт хранится 90 дней и не индексируется. Бесплатный замер — один на сайт раз в 30 дней и не больше трёх в сутки с одного адреса. Машиночитаемо методика доступна по адресу /api/v1/methodology.

Проверьте, называют ли нейросети вашу компанию.