Health score клиента: что это и как рассчитать

Автор

Единого автора нет; метод сложился в практике клиентского успеха и в софте для неё, среди вендоров — Gainsight и ChurnZero, общепринятой даты нет

Уровень

301 · Продвинутый

Подходит

малый и средний бизнес, растущая компания

Время на внедрение

две-три недели на первый индекс и первый бэктест, если у вас есть история аккаунтов за год

Что понадобится

список клиентских аккаунтов с итогом по продлению или оттоку за последние 12 месяцев и больше · данные об использовании продукта, поддержке и вовлечённости, сохранённые по датам, а не только сегодняшние значения · руководитель клиентского успеха, который займётся красным аккаунтом в течение недели

Health score клиента — одно число или цвет на каждый аккаунт. Его считают по сигналам вроде использования продукта, работы поддержки, вовлечённости и настроений, и он показывает, насколько вероятно продление. Команды клиентского успеха по нему решают, кому нужно звонить на этой неделе. У идеи нет владельца. Она выросла из практики клиентского успеха и из софта для неё, а Gainsight и ChurnZero — два вендора таких систем. Их страницы описывают, как работают их собственные инструменты. Ни одна из них не доказывает, что индекс предсказывает отток, и этому пробелу посвящена наша страница.

Что входит в индекс

Входы бывают двух видов: что клиенты делают и что они говорят. Руководство Gainsight по скорикарду называет шесть областей: использование продукта относительно купленного, освоение функций, настроения, вовлечённость (например, посещение регулярных созвонов), отношения (например, активный спонсор на стороне руководства) и ценность клиента. Список ChurnZero добавляет прохождение пути клиента, историю поддержки (число обращений, нарушенные SLA) и показатели лояльности, включая срок жизни клиента, NPS, CSAT и CES.

Исследователи делят метрики похожим образом. Обзор метрик клиента Сунила Гупты и Валари Зейтамл отделяет метрики восприятия, такие как удовлетворённость, от поведенческих, таких как удержание и пожизненная ценность. Не считайте, что опросные входы заслуживают наибольших весов. Исследование Кейнингема с коллегами пыталось воспроизвести утверждение, что Net Promoter предсказывает рост лучше других мер лояльности, и не смогло. Поэтому относитесь к NPS и CSAT и CES как к кандидатам во входы, которые нужно проверить, а не как к данности.

Как собирается число

Индекс — взвешенная сумма. В скорикардах Gainsight каждое измерение — показатель, показатели можно группировать, и итог скорикарда задаётся ими. Оценки бывают числами, буквами или цветами. Веса настраивают администраторы, а руководство из сообщества Gainsight добавляет переопределения: критический риск, например уход спонсора, тянет общую оценку вниз вне зависимости от остальных показателей.

Одна формула редко подходит всем. ChurnZero рекомендует отдельные индексы по размеру клиента, этапу жизненного цикла, отрасли и региону. Разделение по жизненному циклу важнее всего в первые месяцы, когда прогресс по онбордингу — более сильный сигнал, чем стабильное использование.

Веса обычно подбирают на глаз. Робин Доус ещё в 1979 году утверждал, что простые модели с равными или грубыми весами часто предсказывают почти так же хорошо, как тщательно подогнанные. Поэтому начинайте с простого: доказывать должен бэктест, а не веса.

Health score или модель оттока?

Они пересекаются, и их часто путают.

У моделей оттока есть исследовательская история. Неслин с коллегами провели турнир прогнозов, где учёные и практики строили модели на открытых данных, и обнаружили, что разница между методами может менять прибыль кампании по удержанию на сотни тысяч долларов. Лемменс и Круа показали, что бэггинг и бустинг улучшили прогноз оттока у американского оператора беспроводной связи. Health score заимствует эту дисциплину, когда его проверяют так же.

Предсказывает ли он отток? Проведите бэктест

Бэктест восстанавливает, что индекс показывал по каждому аккаунту на прошлую дату, и сверяет это с тем, что произошло потом. Руководство Gainsight советует установить бенчмарки и пересматривать скорикард после повторяющихся неожиданных уходов, а страницы ChurnZero говорят о прогнозировании оттока, но ни там, ни там такой проверки нет.

Заморозьте входы на дату

Считайте индекс по данным, которые существовали на ту дату, а не по сегодняшним записям. Кауфман, Россет, Перлих и Стителман называют противоположное утечкой: это информация о целевой переменной, которой не должно было быть. Классический случай — поле «последний вход», перезаписанное после ухода аккаунта.

Читайте результат по зонам

Сгруппируйте аккаунты по их зоне на дату индекса и сравните доли оттока. Иллюстративные цифры ниже взяты из первого примера.

Доля оттока должна расти от зоны к зоне. Проверьте ещё три вещи. Первая — время предупреждения: за сколько дней до отмены аккаунт покраснел, и этот срок должен быть больше времени, которое менеджеру по успеху клиентов нужно на реакцию. Вторая — ранжирование: площадь под ROC-кривой, по словам Хэнли и Макнейла, это вероятность того, что случайно выбранный ушедший получит более высокий риск, чем случайно выбранный оставшийся, так что 0,5 — это подбрасывание монеты. Поскольку ушедших мало, смотрите ещё на точность и полноту, которые, по мнению Сайто и Рехмсмайера, информативнее на несбалансированных данных. Третья — калибровка: из аккаунтов, которым модель дала 80% вероятности ухода, должны уйти около 80%. Это объясняет руководство scikit-learn по калибровке, а одним числом её выражает оценка Брайера.

Проверьте на более позднем периоде

Если вы настроили веса на одном периоде, оцените следующий. Руководство scikit-learn по кросс-валидации предупреждает: при случайном перемешивании близкие по времени строки попадают и в обучающую, и в тестовую выборку, и результат завышается. Разбиение TimeSeriesSplit обучает модель только на более ранних данных. Неслин с коллегами обнаружили, что модели оттока теряли очень мало точности на данных, собранных через три месяца после обучающих, так что разумный ритм — проверка раз в квартал.

Учитывайте размер выборки

Ушедших в B2B мало. Для регрессий Педуцци с коллегами нашли проблемы при числе событий меньше десяти на переменную, поэтому 30 ушедших аккаунтов выдержат около трёх подогнанных входов. Если их меньше, оставьте веса, выбранные вручную, и показывайте таблицу зон вместе с неопределённостью. Аккаунты, которые ещё активны, не провалы: анализ выживаемости, чья стандартная регрессия — модель Кокса 1972 года, считает их цензурированными и учитывает время, которое они провели под риском.

Оценивайте промахи деньгами, а не только числом. Именно поэтому Вербеке с коллегами назвали статью об оттоке подходом, ориентированным на прибыль. Потеря одного крупного аккаунта способна перевесить десять мелких.

Риск — не то же самое, что «можно спасти»

Высокий индекс риска говорит, что аккаунт может уйти. Он не говорит, что звонок его удержит. Полевые эксперименты Евы Аскарсы показали, что клиенты с самым высоким риском оттока не обязательно лучшие цели для программ удержания. Поэтому проверяйте и действие, с контрольной группой, с которой никто не связывается. Когортный анализ отделяет эффект индекса от базового удержания каждой когорты регистраций, а проекция удержания Фейдера и Харди показывает, как прогнозировать эту базу. План Growth Lab в Pushers начинается с проверенного бэктестом индекса и одного конкретного действия для каждой зоны.

Как применять: Health score клиента: что это и как рассчитать по шагам

1. Определите исход. Решите, что индекс должен предсказывать, например «отменит или не продлит в течение 90 дней». Уточните, какие аккаунты учитываются и кого считать ушедшим: переход на бесплатный тариф, истёкший договор, закрытый аккаунт. Результат: одно предложение, по которому измеряется каждая следующая проверка.
2. Выберите несколько входов. Разделите возможные сигналы на две группы: что клиент делает (использование относительно купленного, освоение функций, частота заходов, открытые обращения в поддержку) и что он говорит (ответы в опросах, оценка менеджера по успеху клиентов). Оставьте пять-восемь: это эмпирическое правило, а не результат исследований. Результат: короткий список входов, у каждого — источник данных.
3. Задайте веса и зоны. Начните с равных или грубых весов и трёх зон, например здоровые, под наблюдением и в зоне риска. Для сегмента, где клиенты ведут себя иначе, соберите отдельный вариант, например для аккаунтов на онбординге и для давних. Результат: формула, которую коллега может пересчитать вручную.
4. Пересоберите индекс на прошлые даты. Используя только данные, которые существовали на каждую дату, посчитайте индекс для каждого аккаунта таким, каким он был бы, скажем, в первый день каждого из последних четырёх кварталов. Результат: таблица «аккаунт, дата, индекс» без информации из будущего.
5. Проверьте бэктестом, что случилось на самом деле. По каждому срезу посмотрите, ушёл ли аккаунт внутри окна исхода. Сравните долю ушедших по зонам, какая часть всех ушедших попала в зону риска, за сколько дней индекс предупредил и насколько уверенно он ставит ушедших выше продлевших по риску. Результат: вердикт на одной странице, предсказывает ли индекс что-нибудь.
6. Поправьте, привяжите действия и проверьте снова. Уберите входы, которые ничего не дают, подправьте веса или зоны и для каждой зоны пропишите одно действие и ответственного. Затем проверьте на более позднем периоде, которого формула не видела. Результат: индекс, привязанный к действиям, с квартальной проверкой, работает ли он ещё.

Примеры

B2B-софтверная компания с тысячей аккаунтов

Иллюстративная арифметика. 1 января компания оценивает аккаунты: 600 здоровых, 250 под наблюдением, 150 в зоне риска. К 30 июня ушли 80: 16 здоровых, 24 под наблюдением и 40 в зоне риска. Зона риска — небольшая часть базы, но в ней половина ушедших, а доли по зонам растут по порядку, так что индекс полезно ранжирует аккаунты.

Платёжная платформа для мерчантов

Иллюстративный пример. Команда финтеха оценивает мерчантов по месячному обороту относительно последних трёх месяцев, доле неудачных платежей, глубине интеграции и обращениям в поддержку. Бэктест показывает, что сигнал падения оборота становится красным по медиане за шесть недель до отмены, а вход «обращения» влияет на долю ушедших не больше, чем случайный шум. Команда убирает обращения и усиливает вес динамики оборота.

Программа членства сети клиник

Иллюстративный пример. Медицинская организация продаёт годовое членство пациентам и оценивает каждого по записям на приём, пропущенным визитам, заходам в приложение и ответам в опросе. Первый бэктест показывает: у участников, которые не записались на приём в первые 60 дней после вступления, отток в несколько раз выше, чем у записавшихся. Поэтому команда добавляет в индекс веху онбординга, а не ждёт низкого ответа в опросе.

Когда применять

Применяйте, когда клиенты платят регулярно, аккаунтов столько, что человек не уследит за каждым, а данные об использовании собираются по датам. Индекс окупается в подписочном софте, платёжных платформах, членствах и управляемых сервисах, где тихий сегодня аккаунт может отказаться при продлении.

Когда не применять

Не нужен при нескольких десятках аккаунтов и одном человеке, который знает каждого клиента: с этим справится таблица с заметками. Не стройте его, если нет истории оттока для проверки, потому что непроверенный индекс — это догадка на дашборде. Для разовых покупок используйте RFM-анализ или опрос.

Частые ошибки

• Считают веса окончательными, потому что они выглядят разумно. Веса — суждение, пока бэктест не покажет, что индекс ставит прошлых ушедших выше прошлых продлевших.
• Проводят бэктест на сегодняшних данных. Если пересчитывать старые индексы по текущим записям, в расчёт просачивается информация из более позднего времени, и индекс выглядит лучше, чем есть.
• Применяют одну формулу ко всем клиентам. Клиенту во втором месяце и клиенту в двадцатом нужны разные входы, поэтому собирайте отдельные версии по сегментам или этапам.
• Добавляют каждую доступную метрику. Руководство самого Gainsight предупреждает, что данные могут добавить шум, и у каждого входа должна быть причина, которую можно проверить.
• Не записывают, что показывал индекс. Без сохранённых срезов в следующем квартале нечего проверять.

Вопросы и ответы

Какой health score клиента считается хорошим?

Хороший тот, чьи зоны совпадают с исходами: в зоне риска отток заметно выше, чем у здоровых, и аккаунты помечаются достаточно рано, чтобы успеть что-то сделать. Само число, 70 или 85, ничего не значит, пока не проверено бэктестом. Определяйте «хороший» по долям оттока, которые дают ваши собственные зоны.

Как рассчитать health score клиента?

Оцените каждый вход по общей шкале, умножьте на его вес и сложите результаты в одно число. Так работают скорикарды Gainsight: каждое измерение — показатель, показатели складываются в группы, а итог скорикарда следует из них. Затем сопоставьте диапазоны с цветами, например красным, жёлтым и зелёным.

Как понять, точен ли health score?

Проведите бэктест. Пересоберите индекс таким, каким он был на прошлые даты, и сравните с тем, кто на самом деле ушёл в следующие месяцы. Проверьте долю оттока по зонам, долю ушедших в зоне риска, время предупреждения и то, насколько хорошо индекс ставит ушедших выше продлевших, например по AUC.

Чем отличаются health score и модель прогноза оттока?

Health score обычно собирают люди, выбирая входы и веса, а читают сотрудники клиентского успеха. Модель прогноза оттока подгоняет веса под прошлые исходы статистикой. Они пересекаются: модель может подсказать веса для health score, а бэктест применим к обоим.

Сколько входов должно быть в health score?

Исследованного числа нет. Пять-восемь — частый рабочий диапазон. Чем меньше входов, тем проще объяснять и проверять, а Gainsight предупреждает, что неотобранные данные создают шум. Оставляйте вход, только если бэктест показывает, что он меняет, кого индекс помечает или как рано.

Источники

1. Gainsight (vendor), Essential considerations for your first customer scorecard
2. Gainsight (vendor), Scorecards overview, support documentation
3. Gainsight Community (vendor), How to use health score to reduce risk
4. ChurnZero (vendor), Customer health scores
5. ChurnZero (vendor), Customer health score dashboard
6. ChurnZero (vendor), The customer health score handbook
7. Scott A. Neslin, Sunil Gupta, Wagner Kamakura, Junxiang Lu, Charlotte Mason, Defection detection: measuring and understanding the predictive accuracy of customer churn models, Journal of Marketing Research 43(2), 2006
8. Aurélie Lemmens, Christophe Croux, Bagging and boosting classification trees to predict churn, Journal of Marketing Research 43(2), 2006
9. Wouter Verbeke, Karel Dejaeger, David Martens, Joon Hur, Bart Baesens, New insights into churn prediction in the telecommunication sector: a profit driven data mining approach, European Journal of Operational Research, 2012
10. Eva Ascarza, Retention futility: targeting high-risk customers might be ineffective, Journal of Marketing Research 55(1), 2018
11. Sunil Gupta, Valarie Zeithaml, Customer metrics and their impact on financial performance, Marketing Science 25(6), 2006
12. Timothy L. Keiningham, Bruce Cooil, Tor Wallin Andreassen, Lerzan Aksoy, A longitudinal examination of Net Promoter and firm revenue growth, Journal of Marketing 71(3), 2007
13. Robyn M. Dawes, The robust beauty of improper linear models in decision making, American Psychologist 34(7), 1979
14. Shachar Kaufman, Saharon Rosset, Claudia Perlich, Ori Stitelman, Leakage in data mining, ACM Transactions on Knowledge Discovery from Data 6(4), 2012
15. James A. Hanley, Barbara J. McNeil, The meaning and use of the area under a receiver operating characteristic (ROC) curve, Radiology 143(1), 1982
16. Takaya Saito, Marc Rehmsmeier, The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets, PLOS ONE, 2015
17. Glenn W. Brier, Verification of forecasts expressed in terms of probability, Monthly Weather Review 78(1), 1950
18. Peter Peduzzi, John Concato, Elizabeth Kemper, Theodore R. Holford, Alvan R. Feinstein, A simulation study of the number of events per variable in logistic regression analysis, Journal of Clinical Epidemiology 49(12), 1996
19. David R. Cox, Regression models and life-tables, Journal of the Royal Statistical Society B 34(2), 1972
20. Peter S. Fader, Bruce G. S. Hardie, How to project customer retention, Journal of Interactive Marketing 21(1), 2007
21. scikit-learn documentation, Probability calibration
22. scikit-learn documentation, Metrics and scoring: quantifying the quality of predictions
23. scikit-learn documentation, Cross-validation: evaluating estimator performance
24. lifelines documentation, Introduction to survival analysis

Обновлено 15 октября 2026

Илья ПушинОснователь PUSHERS & COO Fintech ServiceИлья строит операционные системы для растущих компаний в медицине и финтехе. С 2021 года руководит трансграничными платежами в ARBI Exchange, лицензированном обменнике в Таиланде, включая KYC, AML и выход в новые юрисдикции.Об автореLinkedIn