Перекрёсток и Advanced Analytics GlowByte завершили проект по автоматизации обработки отзывов клиентов

Отзывы содержат ценную информацию о том, что клиентам нравится и не нравится в отдельном магазине сети. Так отзывы становятся источником инсайтов для бизнеса. Их ручной анализ занимает слишком много времени и не всегда бывает точен. Для этого «Перекрёсток» и GlowByte автоматизировали обработку отзывов клиентов при помощи текстового анализа. Теперь при появлении нового отзыва программа сразу может определить в какую категории его отнести, что ускоряет время обработки.

На входе у команд были результаты NPS-исследования в формате телефонного разговора с клиентами после их посещения одного из магазинов сети. Во время разговора клиентов спрашивают, что им понравилось и не понравилось, оператор тезисно фиксирует ответ и определяет к каким из предопределенных категорий ответ будет отнесен: ассортимент, персонал, качество продуктов и прочие. Каждый отзыв может быть отнесен к нескольким категориям. Так как клиенту задают два вопроса: «Что вам понравилось в последнем визите?», «Что вам не понравилось?» и фиксируют их в разных полях, формируется два датасета. Первый из них содержит положительные отзывы, второй – отрицательные.

● Уточнили существующую разметку комментариев по категориям. 

Иногда операторы относят отзыв к несоответствующим категориям или просто отмечают как «прочее». Было важно снизить эффект ошибочного отнесения комментариев к предопределенным факторам.

● Выделить более гранулярные подкатегории среди факторов, полученных в результате уточнения разметки операторов на первом этапе.

Например, отзыв «не нашли нужного нам молока» будет отнесен к общей категории «Ассортимент», но хочется автоматически относить его к более мелкой подкатегории «Ассортимент молочных продуктов».

Так, для фактора «Скорость обслуживания» были предсказаны категории с точностью 92% (precision) и полнотой 87% (recall). Так как метрики считались по разметке операторов, которая бывает неточной, для ориентировочной оценки количества реальных ошибок модели было решено вручную раскрасить часть отзывов. 

Таким образом, собранные в ходе NPS-опроса данные были переразмечены по крупным категориям, разбиты на детальные подкатегории, агрегированы на уровне отдельных магазинов и общих данных по всей сети. Теперь данные готовы для анализа и выявления инсайтов.

Например, в магазине Новокосино в марте 2020 было проведено 97 интервью. Многие клиенты отвечают, что им все нравится, о персонале и скорости обслуживания чаще отзываются положительно.

“Этот кейс очень интересен с точки зрения области применения алгоритмов текстовой аналитики. В данной области применялся впервые и базовый подход показал очень высокий рост качества разметки. В дальнейшем алгоритм может быть улучшен” - Дарья Давыдова, Advanced Analytics GlowByte.

«NPS - или индекс лояльности потребителя - для нас один из важнейших показателей эффективности работы, поэтому нам было важно не просто видеть его уровень – высокий или низкий, но и понимать вклад того или иного атрибута, например, цены или удобства визита. Когда мы знаем точную проблему, то можем быстро принимать решения и эффективно ее устранять. Поэтому такой автоматизированный анализ помог повысить точность аналитики, исключить ошибку человеческого фактора, сократить операционные расходы, и как итог – принимать верные решения для построения лучшего клиентского сервиса и роста NPS» - комментирует Иван Братцев, руководитель управления клиентского опыта торговой сети «Перекрёсток».