Построение рейтинга исполнителей — на примере Uber, «Яндекс.Такси», Profi.ru и курьерского сервиса Dostavista

Основатель сервиса Dostavista Михаил Александровский написал для vc.ru колонку о роли правильно спроектированных рейтингов для сервисов, которые соединяют заказчика с исполнителем.

«Достависта» — сервис срочной курьерской доставки, который работает по модели Uber. Мы получаем заказы через сайт, курьеры работают через мобильное приложение. Запустились в августе 2012 года, и, когда через пять месяцев вышли на 60 доставок в день, появилась потребность ранжировать курьеров.

Отсеивать неадекватных исполнителей — главная задача рейтинга, и старая версия с ней справлялась. Операторы регулярно получали жалобы недовольных рейтингом курьеров. Сначала это не было критично, но с ростом проекта росло и число жалоб. Дошло до того, что операторы потребовали запретить вопросы о рейтинге курьеров. Так обозначилась первая проблема.

Рейтинг учитывает, прибыл ли курьер в указанный клиентом интервал времени. Для этого в приложении используются отметки о прибытии — чекины. Некоторые курьеры поддавались соблазну зачекиниться до передачи посылки. Получалось, что мы обманываем клиентов и получаем неверные данные по маршруту курьера. Эта проблема приводила к ошибкам в планировании.

Приходилось мириться с ещё одной проблемой, решать которую в малых масштабах мы тоже смысла не видели: мы ошибочно блокируем много курьеров.

В августе на рынке «Садовод» в Жулебине курьер Владимир забрал у клиента набор одежды, чтобы доставить на «Преображенскую площадь». Пока Владимир ехал на Преображенку, к клиенту приехал курьер из другой службы.

От другого курьера пахло перегаром. Клиент отказался передавать груз и в негодовании перепутал курьерские службы, ошибочно оставив негативный отзыв о Владимире. Оператор снял Владимира с заказа и заблокировал его аккаунт в приложении, лишив доступа к новым заказам.

Через час Владимир подъехал к «Преображенской площади», открыл приложение и, мягко говоря, удивился. Несправедливость и материальные ценности на руках заставили Владимира связаться с менеджером «Достависты» и добиться решения проблемы. В итоге аккаунт курьера мы разбанили, рейтинг вернули, доставку выполнили в срок.

Таким образом выяснилось, что рейтинг ухудшает условия работы исполнителей сразу по трём направлениям:

  • снижает лояльность курьеров: «рейтинг такой низкий, потому что меня не ценят»;
  • провоцирует курьеров обманывать клиентов (и нас) относительно прибытия на место;
  • ошибочно отсекает значимое число исполнителей.

Каждую осень курьеров не хватает. Поэтому в августе мы решили заняться проблемой оттока сотрудников.

Как работал старый рейтинг

Оценка в старом рейтинге учитывала три показателя, каждому из которых был присвоен вес:

  • Среднее арифметическое 20 последних оценок, 60%.
  • Правильный чекин (в правильном месте и в правильное время), 20%.
  • Приличный «лук», 20%. Курьер загружает фото с телефона в полный рост, внешний вид субъективно оценивает оператор. Мы не модельное агентство, поэтому достаточно быть опрятным и не носить треники на работе.

Рейтинг влияет на доступ к заказам. Схема назначения курьера на заказ следующая.

  • Информация о заказе поступает в мобильное приложение. Курьер видит заказ, однако может отправить запрос только на тот заказ, который успевает выполнить и требованиям которого удовлетворяет. Ценные заказы доступны только курьерам, которые прошли проверку службы безопасности. Заказы с безналичной оплатой доступны только тем, кто оформил соответствующие документы. Специальные требования есть также у других видов заказов: доставка тортов, букетов, выкупа товара курьером и так далее.
  • Через пять минут после первого отклика заказ уходит к исполнителю.
  • Если откликов больше одного и заказ несрочный, то заказ получит курьер с наивысшим рейтингом.
  • Срочные заказы отдаём ближайшему курьеру.

Так выглядит статистика оценок за август 2015.

Оценка Количество оценок Количество комментариев к оценке
1 361 207
2 135 68
3 404 144
4 1148 182
5 34080 7876

34 тысячи «пятёрок», 1150 «четвёрок» и меньше тысячи прочих оценок. При этом семь тысяч «пятёрок» с комментариями — такого большого числа комментариев к «пятеркам» мы не ожидали.

Чтобы лучше понять, как клиенты воспринимают рейтинг курьеров, для каждой оценки мы сформировали облака слов из комментариев.

Оценка Топ часто встречающихся слов
5 Спасибо, отлично, быстро!

4 Опоздал, не позвонил, не было сдачи.

1–3 Опоздал, не позвонил, не было сдачи.

Выводы:

  • 1, 2, 3 и 4 балла в глазах клиента — примерно одно и то же. Следовательно, один и тот же уровень исполнения заказа может быть оценен разными клиентами на 1, 2, 3 и 4 балла.
  • Пятибалльная система рейтингов неадекватна реальной системе оценок клиентов, которая, упрощённо говоря, трёхбалльная: плохо (4 и ниже), хорошо (5) и отлично (5 с комментарием).
  • «Пятёрок» с коментариями в пять раз больше, чем оценок 1, 2, 3 и 4, вместе взятых, — следовательно, комментарии оставляют самые лояльные клиенты.

Перед тем как что-то менять, мы посмотрели, как устроены рейтинги у других операторов, которые работают по аналогичной бизнес-модели.

Рисёрч: Uber, «Яндекс.Такси», Profi.ru

В Uber два рейтинга: водительский и пассажирский. Интерфейс устроен так, что клиент может оставить водителя без оценки, но водитель клиента — нет. По словам оператора, водителей Uber в России блокируют при рейтинге ниже 4,3 баллов. Однако низкие оценки и тут гораздо реже, чем требует действительность, потому что пассажиры опасаются мести водителей. О пассажирском рейтинге Uber данных мало, однако есть один негативный отзыв о его адекватности.

Если водитель поставил пассажиру оценку ниже «четвёрки», операторы сервиса обязательно свяжутся с водителем для выяснения подробностей. Все четверо опрошенных единогласно заявили, что в основном ставят 4 и 5: лень общаться с операторами.

Рейтинг водителя «Яндекс.Такси» рассчитывается за 45 дней, имеет пятибалльную шкалу оценки, новички начинают с 3,3 балла. Рейтинг снижается, если какое-то время не брать заказы. Рейтинга пассажиров нет.

В приложении и на сайте Profi.ru трудно найти исполнителя с рейтингом ниже «четвёрки». По каждому заказу Profi.ru берёт отзыв клиента по телефону.

На основании внутренней инструкции оператор переводит отзыв в шкалу, в которой есть оценки 3, 4, 5, 5+ и 5++. Всё ещё сложнее: заказ назначают на основе репутации исполнителя, в которой, помимо рейтинга, учитывается опыт работы. Исполнители не знают, как именно рассчитывается их рейтинг.

Новый рейтинг «Достависты»: помилования, прозрачность, оценка клиентов

С сентября отдельный диспетчер обзванивает недовольных клиентов и выясняет, почему отзыв был негативным. Каждый день снимаем в среднем 3–4 бана из 10.

Чтобы было понятно, почему мы разбанили курьера, уточнили классификацию проблем.

Полная версия майндмэпа здесь

Вместо чекинов и средней оценки по 20 последним поездкам новый рейтинг учитывает только среднее арифметическое по последним пяти оценкам. Чекины работают, но на рейтинг не влияют.

Каждая оценка ниже 4 встаёт в очередь на звонок. После звонка с курьером либо расстаёмся, либо ставим оценку 4. Курьерам без плохих оценок будут доступны отзывы клиентов и алгоритм подсчёта рейтинга. За любой негативный вопрос клиенту относительно рейтинга или отзыва — пожизненный бан.

Рейтинг Uber глазами водителя: если у тебя «пятёрка», ты просто нормальный водитель, если ниже — что-то недостаточно хорошо. То есть всем водителям приходится постоянно мириться с фактом, что они всё же что-то делают недостаточно хорошо.

Так как «пятёрок» с комментариями в семь раз больше, чем всех остальных оценок вместе, то, если увеличить разброс (дисперсию) оценок, то рейтинг выделит сегмент курьеров-гуру.

Курьерская работа — серьёзный труд со множеством логистических задач. Порой от исполнителя требуются невероятные усилия, чтобы не сорвать выполнение заказа. Выполнил заказ вовремя и без ошибок — это пять. Идеально выполнил особо трудный заказ — это выше пяти.

Поэтому оценке 5 с комментарием новый рейтинг присваивает значение 6. По нашей гипотезе, это должно сильнее мотивировать курьеров, которым достались трудные заказы, так как люди будут понимать, что дополнительные усилия учитываются в оценке.

В ближайших планах — ввести рейтинг заказчиков и сделать шкалу рейтинга курьеров 3-балльной: плохо, нормально и отлично. В каждом варианте будет возможность оставить комментарий.

Внедрение нового рейтинга растянется ещё на 3 месяца. Пока результаты следующие:

  • внедрение «помилований» удержало 40 хороших курьеров за 30 дней. Число вопросов о рейтинге заметно упало, операторы довольны;
  • новые курьеры быстрее включаются в работу: набрать 5 хороших оценок проще, чем 20.

Пост для курьеров в закрытой группе во «ВКонтакте» о новом рейтинге

В целом из истории с рейтингом мы сделали следующие выводы:

  • Недостаточно собирать с пользователей оценку от 1 до 5 и усреднять её, спроектировать хороший рейтинг — более сложная задача .
  • Хорошо спроектированный рейтинг поддерживает не только качество сервиса, но и лояльность исполнителей.

Есть широкий класс сервисов, в которых оплата услуг происходит позадачно. В таких сервисах система лояльности выстраивается практически одинаково. Поэтому мы продолжим изучать механику рейтингов на местных и зарубежных примерах: Kidsout, YouDo, Airbnb, BlaBlaCar, Lyft.

На какие сервисы посоветуют обратить внимание читатели?