A/A-тест в email-кампаниях: зачем сравнивать одинаковые письма

Прежде чем спорить, какая тема письма лучше, стоит проверить более скучный вопрос: а ваш инструмент сплит-тестирования вообще делит базу и считает результат так, как вы думаете? A/A-тест — это отправка одного и того же письма двум случайно разделённым группам вместо разных вариантов. Если разница между группами оказывается заметной, значит, дело не в тексте письма, а в шуме малой выборки или кривом сплитовании — и все ваши будущие A/B-тесты будут врать.

Что такое A/A-тест и зачем он нужен

A/A-тест — это когда вариант A и вариант B буквально одно и то же письмо, но система делит контакты на две группы и отправляет как будто это разные тесты. По логике, если всё работает честно, разница между группами A и A должна быть нулевой или в пределах случайного шума — ведь текст один и тот же.

Смысл в том, чтобы откалибровать ожидания перед настоящим A/B-тестом. Если даже одинаковые письма на двух случайных группах дают разницу в reply rate в 3–4 процентных пункта просто из-за случайности выборки, то результат обычного A/B-теста с разницей в те же 3–4 пункта нельзя считать доказательством, что один вариант лучше другого — это может быть тот же самый шум.

В массовых рассылках по десяткам тысяч подписчиков A/A-тест почти не нужен: на таких объёмах случайный шум сглаживается сам. В холодном B2B-аутриче, где сегмент — 200–800 контактов, а решение принимается по паре сотен ответов, шум может быть сопоставим с реальным эффектом, который вы пытаетесь измерить в A/B-тесте. Поэтому именно в аутриче A/A-тест особенно полезен.

Когда стоит проводить A/A-тест

Гонять A/A-тест перед каждой обычной рассылкой избыточно — это трата контактов на проверку того, что обычно и так работает предсказуемо. Смысл появляется в конкретных ситуациях: смена платформы или инструмента рассылки, новый крупный сегмент базы с неизвестной степенью однородности, подозрение, что механизм разбиения на группы работает нечестно, или просто первый серьёзный A/B-тест в компании, когда важно понять, чему вообще можно доверять.

Есть и более узкий случай: если предыдущие A/B-тесты давали противоречивые результаты — вариант, который выигрывал на одном сегменте, проигрывал на похожем следующем — стоит остановиться и проверить A/A-тестом, не является ли сама методика сплитования источником разброса, прежде чем продолжать тестировать гипотезы о тексте.

• Переход на новую платформу рассылки или CRM с другим механизмом сплитования базы
• Первый крупный A/B-тест в новом, ранее непроверенном сегменте
• Подозрение, что распределение контактов между вариантами не случайно
• Противоречивые результаты предыдущих A/B-тестов на похожих сегментах
• Аудит методики тестирования раз в полгода-год на ключевых сегментах

Как правильно провести A/A-тест

Механика простая: берётся сегмент, система делит его на две группы тем же способом, что и в реальном A/B-тесте, обеим группам уходит абсолютно одинаковое письмо — тот же текст, та же тема, то же время отправки, те же ящики в ротации. Единственное, что должно отличаться, — сама метка группы в системе, не видимая получателю.

После отправки сравниваются open rate и reply rate между группами A и A. Если платформа честная и группы случайны, разница должна колебаться вокруг нуля в пределах естественного шума выборки такого размера. Если разница системная и повторяется при повторном A/A-тесте на другом сегменте — проблема в механике, а не в случайности.

Важно не путать A/A-тест с проверкой «на глаз». Нужен тот же объём данных, что и в планируемом A/B-тесте: если вы собираетесь тестировать гипотезы на сегментах по 300 контактов, A/A-тест тоже нужно ставить на сегменте такого размера, а не на 50 контактах — иначе вы измерите шум не того порядка.

Как читать результат A/A-теста

Небольшая разница между группами — это нормально и ожидаемо, полностью одинаковых результатов на реальных данных не бывает даже при честном разбиении. Вопрос не в том, есть ли разница вообще, а в её величине относительно того, что вы обычно принимаете за значимый результат A/B-теста.

Если в A/A-тесте разница reply rate достигает, скажем, двух-трёх процентных пунктов на сегменте 300–400 контактов, это значит, что в будущих A/B-тестах на сегментах такого размера разницу меньше трёх-четырёх пунктов не стоит считать доказанной победой одного варианта — она может объясняться тем же фоновым шумом. Это не значит, что тесты бесполезны, это значит, что порог доверия нужно поднять.

Если разница в A/A-тесте оказывается большой и системной — скажем, одна группа стабильно получает на 10–15 пунктов больше ответов при абсолютно одинаковом письме, — это уже не шум, а сигнал о проблеме в механике: неслучайное разбиение, разное качество данных в группах, разные ящики или окна отправки, которые незаметно просочились в тест.

Стоит также обращать внимание не только на итоговую разницу, но и на то, как она распределена по времени отправки: если в первый день группы показывают близкие результаты, а к концу недели расхождение нарастает, это может говорить о том, что одна из групп постепенно получает письма из другого пула ящиков или в другое окно — то есть проблема не в статистике, а в операционном исполнении рассылки.

Частые ошибки при постановке A/A-теста

Ошибки здесь чаще методические, чем содержательные — сама идея простая, но детали легко упустить.

• Слишком маленький объём групп — шум на 30–50 контактах не показателен ни для чего
• Разные условия отправки между группами (разные дни, разные ящики) — это уже не проверка сплитования, а отдельная переменная
• Однократный A/A-тест интерпретируется как окончательный вердикт — для надёжности стоит повторить хотя бы на двух разных сегментах
• Смешение A/A-теста с обычной проверкой доставляемости — это разные задачи с разной методикой
• Игнорирование результата A/A-теста, если он неприятный — если тест показал большой шум, это повод пересмотреть минимальный объём выборки для будущих A/B-тестов, а не список для галочки

Что делать с выводами A/A-теста дальше

Главный практический результат A/A-теста — калиброванный порог доверия для будущих A/B-тестов на этом сегменте или платформе. Если вы выяснили, что фоновый шум на вашей базе даёт разброс в 4–5 пунктов reply rate, любой будущий A/B-тест с разницей меньше этого порога стоит считать неубедительным, даже если один вариант формально «выиграл».

Второй результат — доверие или недоверие к самой платформе разбиения. Если A/A-тест регулярно показывает системную разницу, стоит поднять вопрос с поставщиком инструмента рассылки или сменить механизм сегментации, прежде чем строить решения о продукте и офферах на данных, которые искажены на входе.

Полезно фиксировать результаты A/A-тестов в общем документе команды, а не держать их в памяти одного человека, который их проводил. Через полгода-год, когда в компании появится новый аналитик или изменится состав команды, зафиксированный порог доверия избавит от необходимости заново проверять то, что уже было измерено — и убережёт от ситуации, когда решения по офферам принимаются на основе разницы, которая на самом деле находится внутри уже известного диапазона шума.

Проверить это на практике можно открытой статистикой почтовой инфраструктуры доменов на check.live-direct-marketing.online.

Вопросы и ответы