Когорты вместо средней температуры: как читать результаты аутрич-кампании по волнам

Кампания идёт третий месяц, средний reply rate — 4%, и по этой цифре кажется, что всё стабильно. А внутри: первые волны давали 7%, последние — 1,5%, и кампания фактически умерла месяц назад, просто среднее этого не показывает. Когортный анализ — способ увидеть динамику, которую усреднение стирает: сравнивать между собой группы получателей, объединённые временем отправки или версией сегмента, и понимать, что именно меняется — база, оффер или сезон.

Почему средние по кампании врут

Любая метрика, посчитанная по всей кампании сразу, — это сумма разновозрастных отправок с разной судьбой. Первая волна ушла по самому целевому сегменту, который вы собрали вручную и с азартом; пятая — по остаткам базы, добранным по ослабленным критериям. Первая успела собрать все свои ответы, включая медленные «вернулся из отпуска, давайте созвонимся»; вчерашняя — только автоответы. Складывая их в один показатель, вы получаете число, которое не описывает ни одну из волн.

Практическое следствие: усреднённая метрика реагирует на проблемы с опозданием в недели. Доставляемость просела на новом отправляющем домене, свежий сегмент оказался мусорным, новая версия письма стала хуже — всё это тонет в накопленной статистике старых волн. Пока средний reply rate сползёт с 4% до 3%, отдельные когорты уже месяц как дают 1%, и вы месяц жжёте базу и репутацию впустую.

Обратная ошибка тоже случается: правка письма реально улучшила ответы, но на фоне общей массы старых отправок эффект незаметен, и рабочую версию откатывают как «не сработавшую». Для адресного B2B-аутрича, где объёмы малы и каждая сотня контактов на счету, цена таких ошибок выше, чем в массовых рассылках: базу под узкий ICP нельзя добирать бесконечно.

Что считать когортой в холодном аутриче

Классический когортный анализ группирует пользователей по времени прихода и смотрит, как метрика живёт дальше. В аутриче естественная когорта — волна отправки: все получатели, которым первое письмо цепочки ушло в один период (обычно неделя, при малых объёмах — две), из одного сегмента базы, с одной версией письма и с одной отправляющей инфраструктуры. Ключевое слово — одинаковые условия: когорта имеет смысл только тогда, когда внутри неё нечего разделять.

Отсюда правило дисциплины: любое изменение — граница новой когорты. Переписали первое письмо — новая когорта. Подключили другой сегмент базы — новая. Сменили отправляющий домен или добавили ящик — тоже. Если поменять текст в середине недельной волны, эта волна как когорта испорчена: в ней смешаны две версии, и различить их вклад уже нельзя. Дешевле дотерпеть до конца волны, чем потерять её для анализа.

Помимо когорт по времени отправки полезны разрезы по свойствам: сегмент ICP (отрасль, размер компании), роль ЛПР, источник контакта. Технически это те же группы сравнения, только сформированные не датой, а признаком. Комбинация двух осей — «волна × сегмент» — отвечает на самые дорогие вопросы: деградирует база целиком или только один сегмент, работает новое письмо везде или только по одной отрасли.

Какие метрики сравнивать между когортами

Базовый набор по каждой когорте: доставляемость (доля писем без bounce), reply rate (доля цепочек, получивших ответ живого человека), доля позитивных ответов (интерес, согласие на разговор — по вашей разметке), конверсия в следующий шаг (созвон, встреча) и негативные сигналы — жалобы на спам, просьбы больше не писать. Open rate после массового внедрения защиты приватности у почтовых провайдеров стал ненадёжным — учитывайте его как вспомогательный, решения принимайте по ответам.

Главная методическая ловушка — зрелость когорты. Ответы на холодные цепочки доходят неделями: часть людей отвечает на третье письмо, часть — через месяц после последнего касания. Сравнивать «reply rate когорты, отправленной вчера» с «reply rate когорты трёхмесячной давности» — сравнивать зелёное яблоко со зрелым. Корректный способ — фиксировать метрики на одинаковом возрасте когорты: reply rate на 14-й день, на 30-й, финальный на 60-й. Тогда ряды сопоставимы.

Отдельно стоит смотреть скорость ответов внутри когорты: какая доля финальных ответов приходит в первые 3 дня, в первую неделю, позже. Этот профиль довольно стабилен для конкретного ICP, и им удобно пользоваться как ранним прогнозом: если когорта на 7-й день собрала вдвое меньше ответов, чем обычно к этому дню собирали предыдущие, — не ждите 60-го дня, чтобы заметить проблему.

Как читать расхождения когорт: три типовых паттерна

Паттерн первый: плавное сползание метрик от волны к волне при неизменном письме и инфраструктуре. Почти всегда это деградация базы — лучшие сегменты выбраны первыми, дальше в работу идут компании, добранные по ослабленным критериям ICP. Проверяется разрезом «волна × сегмент»: если внутри одного и того же сегмента поздние когорты держат уровень ранних, а падает только смесь — дело в составе волн. Лечится возвратом к жёстким критериям отбора, а не правками текста.

Паттерн второй: ступенька — резкий провал одной когорты на фоне ровных соседних. Ищите событие на границе: новый отправляющий домен или ящик (просела доставляемость — смотрите bounce и долю ответов «письмо в спаме»), новый источник базы (просело качество контактов — смотрите долю «это не ко мне»), новая версия письма (просели ответы при нормальной доставке). Ступенька — лучший друг аналитика: она датирует проблему с точностью до волны.

Паттерн третий: когорты расходятся по сегментам — одна отрасль стабильно отвечает вдвое лучше другой на одинаковое письмо. Это не проблема, а находка: сигнал перераспределить базу и бюджет касаний в пользу сильного сегмента и переписать оффер для слабого. Без когортного разреза такие расхождения не видны вовсе — в среднем по кампании сильный сегмент субсидирует слабый, и оба выглядят «нормально».

Типичные ошибки когортного анализа на малых объёмах

Первая ошибка — делать выводы на когортах по 20–30 контактов. На таком размере один ответ двигает reply rate на 3–5 процентных пунктов, и различие когорт «4% против 7%» — это буквально один человек, который мог ответить случайно. Рабочий минимум для сравнения — от 100–150 контактов на когорту; если недельные волны меньше, укрупняйте когорты до двухнедельных или месячных, жертвуя разрешением ради достоверности.

Вторая ошибка — менять несколько условий на одной границе: новую версию письма запускают одновременно с новым сегментом и новым доменом. Когорта покажет суммарный эффект, но вы никогда не узнаете, что именно сработало или сломалось. Правило то же, что в любом эксперименте: одна волна — одно изменение. Третья ошибка — сравнение незрелых когорт со зрелыми, о ней выше; она регулярно порождает панические выводы «новая волна провалилась», хотя ответы просто ещё не дошли.

Четвёртая ошибка — считать когорты по письмам, а не по людям. В цепочке из четырёх касаний один получатель порождает до четырёх отправок; если делить ответы на отправки, метрика занижается и плывёт в зависимости от того, сколько шагов цепочки успело уйти. Знаменатель всегда — уникальные контакты (или компании), вошедшие в когорту; ответ засчитывается когорте первого касания, на каком бы шаге он ни пришёл.

• Когорты меньше 100 контактов — шум вместо сигнала; укрупняйте период.
• Несколько изменений на одной границе когорты — эффекты неразделимы.
• Сравнение когорт разной зрелости — фиксируйте метрики на 14/30/60-й день.
• Знаменатель из писем вместо уникальных контактов — заниженный и плавающий reply rate.
• Анализ без разреза по сегментам — деградация базы маскируется под «усталость рынка».

Как это устроено у нас и с чего начать вам

В LDM волны отправки и есть единица управления кампанией: каждая волна фиксируется с составом сегмента, версией креатива и отправляющей инфраструктурой, ответы привязываются к контакту и его волне первого касания, а разметка ответов (позитив, отказ, нецелевой, «не сейчас») превращает reply rate из одной цифры в структуру. Решения — досылать ли следующую волну, менять ли сегмент, откатывать ли правку письма — принимаются сравнением последних когорт с коридором предыдущих, а не по средним с начала кампании.

Начать можно без специальных инструментов: таблица, где строка — волна отправки, а колонки — размер, bounce, ответы к контрольным дням и их разметка, закрывает 80% пользы когортного подхода. Единственное, что придётся ввести сразу и навсегда, — дисциплину границ: изменения только между волнами, один эксперимент за раз, размер волны не меньше сотни контактов.

И последнее: когортный анализ — это не отчётность ради отчётности, а система раннего оповещения. Его смысл не в красивой таблице в конце квартала, а в том, чтобы увидеть умирающую кампанию на второй волне, а не на восьмой, — пока базу, домен и время ещё можно спасти.

Вопросы и ответы