Аналитика пользовательского опыта: возможна ли полноценная реализация?

Илья Шутов, руководитель направления DataScience, ИТ-компания Медиа-тел, к.ф.-м.н.

Проблематика задачи

Задача построения пользовательского опыта является достаточно сложной. Коммуникации с пользователем давно стали мультиканальными, включая физическое и онлайн-взаимодействие. Причем коммуникация может начинаться в одном канале, проходить в другом, а завершаться в третьем. Дополнительная сложность добавилась и благодаря карантину, когда даже в рамках одной компании появилось множество различных приложений и порталов, частично конкурирующих, частично интегрированных. Усугубляет ситуацию расширение и переформатирование спектра программ лояльности, партнерских программ, сервисов обратной связи и введение подписочных сервисов.

Что предлагается в классических методах анализа пользовательского опыта? Анализ чеков и программ лояльности. Суммы, ассортимент, геоинформация и т.д. Маркировка действий пользователей через карты лояльности.

Это действительно огромный блок информации, который позволяет:

● проводить анализ работы бизнеса как в целом, так и на уровне структурных единиц;

● строить портреты покупателей и их сегментировать;

● строить достаточно неплохие прогнозные экономические модели.

Однако могут ли чеки дать полную картину мира? Нет, нет и еще раз нет. “Чеки” дают всего лишь плоскую проекцию сложных многомерных структур. Масса критически важной информации остается за бортом.

Что остается за рамками? Да практически вся динамика:

● Проблемы пользователя в классическом процессе обслуживания на кассах.

● Дополнительный пользовательский опыт:

- процесс обслуживания на КСО;

- процесс обслуживания в мобильных приложениях (Scan&GO/SelfScan/ ...);

- процесс обслуживания в онлайн-сервисах и онлайн-доставке;

- обращения в колл-центр.

● Операционная эффективность:

- = успех / (успех + ошибки);

- Чек – успешно завершенная транзакция. А сколько при этом ошибочных?

- Какова цена ошибок?

● Производительность:

- Что мешает нам обслуживать быстрее?

- Как меньшими ресурсами выполнять большую работу?

Что еще может быть не так?

Продажа товара – технико-экономический процесс. Популярность товара определяется не только соотношением цена/качество, но и технической возможностью его купить. Примеры ошибок:

● «Цена на товар не найдена»;

● «ШК не читается»;

● «PLU/EAN не совпадает с отсканированной маркой»;

● «Товар не найден»;

● «Условия промо неприменимы»;

● «Невозможно списать баллы»;

● …

И каждая стоит определенных денег.

Что еще не учитываем?

● Откройте еще кассу!

● Нет времени стоять, как-нибудь потом…

● Корзина в приложении брошена… что не так?

● Доставка не в срок, мне это неудобно…

● Мобильным приложением покупатель перестал пользоваться… почему?

Предлагаемый подход к реализации полноценной аналитики пользовательского опыта

Предпосылки:

1. С точки зрения техники и математики все ИТ-системы и процессы представляют собой конечные автоматы. Т.е. есть наборы состояний и матрицы перехода из состояния в состояние.
2. С точки зрения бизнеса для оценки пользовательского опыта необходимо собирать и анализировать информацию только по крайне незначительному набору состояний и операций, желательно в режиме, близком к реальному (концепция бизнес-мониторинга).
3. Интересует транзакционный/сессионный мониторинг/аналитика. Т.е. весь сеанс коммуникаций с пользователем от начала до конца как единое целое. Мониторинг отдельных событий и состояний -- удел технических подразделений.
4. Интересуют сессионные метрики и бизнес-ошибки.
5. Мониторинг в режиме реального времени избыточен. Характерные транзакционные времена составляют 30-60 минут и определяются потоком пользователей и заданными таймаутами по бездействию (например, таймаут автозакрытие брошенных корзин).
6. Транзакционная аналитика должна погружаться внутрь информационного обмена между компонентами, чтобы дополнить технические и временные показатели бизнес атрибутами. Например, товары в корзине, стоимость корзины, тип карты оплаты, модель телефона и т.д.

Запуск операционной аналитики очень хорошо сочетается с запуском или разработкой собственных продуктов (в частности, мобильными приложениями как конечной точкой коммуникации с пользователем). Применение концепции бизнес-мониторинга и технологии process-mining у нас в Медиа-тел позволяет без использования больших данных в рамках одного аналитического контура построить:

● технологический мониторинг здоровья сервиса и смежных систем;

● бизнес-мониторинг, включая поведенческий анализ персонализированного опыта покупателей, предиктивную аналитику, косвенную оценку качества работы и обученности персонала в магазинах; антифрод; косвенную оценку готовности инфраструктуры офлайн-магазина к обслуживанию в рамках контролируемой системы;

● маркетинговый мониторинг и отчетность, включая различные финансовые и поведенческие показатели, такие как многофакторный когортный анализ, анализ процессов оттока, эффективности конверсии, динамики ценности, оценки влияния маркетинговых программ и многое другое.

Контур операционной аналитики, исполняемой в режиме близком к реальному времени, можно построить полностью на open-source стеке. Из хорошо зарекомендовавших комбинаций с наивысшими ТТХ можно отметить связку Yandex Clickhouse + R (https://h2oai.github.io/db-benchmark/).

Типичный состав команды по внедрению операционной продуктовой аналитики междисциплинарен и может включать разработчиков приложений и систем, бизнес-заказчиков, представителей маркетинга и руководителей программ.

Типичный состав работ охватывает множество этапов: бизнес-аналитика, разработка технического задания, разработка метрик и критериев, разработка алгоритмов, интеграция с внешними системами, разработка отчетов дашбордов, аналитических приложений, выработка гипотез и предложений, ad-hoc аналитика.

Важным моментом является формат взаимодействия с пользователями. Операционная аналитика динамична, пользовательский опыт меняется. Транзакционный анализ позволяет выявить возникшие у пользователя проблемы даже путем косвенного анализа. Оборванная транзакция (брошенная корзина), повторенная многократно многими пользователями, - уже не случайный сбой, а некий паттерн поведения, который может быть обусловлен как проблемами в навигации в ПО, так и внешними проблемами - отказ сторонних систем или плохая камера в телефоне.

Бизнес-мониторинг позволяет с легкостью обнаруживать такие проблемы и оперативно уведомлять об этом службы поддержки. Операционная аналитика и означает, что она тесно встроена в контур эксплуатации, а не существует в виде ежемесячных дайджестов, которые устарели, еще не будучи опубликованными.

Оптимальные сценарии взаимодействия с пользователями и бизнесом существенно отличаются от классических BI-систем.

● Дашборд («телевизор в приемной»)

● «Storytelling» отчет

● Приложение

● Выгрузки (БД, excel)

Причем, по мере повышения зрелости, начинает превалировать формат storytelling-отчетов, содержащий полноценную и исчерпывающую информацию, собранную в связный документ, необходимую персонально для каждого пользователя. Именно формат storytelling-отчетности позволяет:

● снизить затраты пользователей на клики мышкой до нуля;

● заменить real time обработку запросов пользователей на офлайн-подготовку;

● кардинально снизить требования к аппаратным ресурсам, подготавливающим отчетность, за счет разделения во времени;

● повысить безопасность данных за счет исключения доступа пользователей к источникам.

Стандартное время внедрения систем подобного класса (при готовности всех подразделений заказчика к активному и плодотворному сотрудничеству) - 4-5 месяцев.