A/A-тест в email-кампаниях: зачем сравнивать одинаковые письма

Прежде чем спорить, какая тема письма лучше, стоит проверить более скучный вопрос: а ваш инструмент сплит-тестирования вообще делит базу и считает результат так, как вы думаете? A/A-тест — это отправка одного и того же письма двум случайно разделённым группам вместо разных вариантов. Если разница между группами оказывается заметной, значит, дело не в тексте письма, а в шуме малой выборки или кривом сплитовании — и все ваши будущие A/B-тесты будут врать.

Что такое A/A-тест и зачем он нужен

A/A-тест — это когда вариант A и вариант B буквально одно и то же письмо, но система делит контакты на две группы и отправляет как будто это разные тесты. По логике, если всё работает честно, разница между группами A и A должна быть нулевой или в пределах случайного шума — ведь текст один и тот же.

Смысл в том, чтобы откалибровать ожидания перед настоящим A/B-тестом. Если даже одинаковые письма на двух случайных группах дают разницу в reply rate в 3–4 процентных пункта просто из-за случайности выборки, то результат обычного A/B-теста с разницей в те же 3–4 пункта нельзя считать доказательством, что один вариант лучше другого — это может быть тот же самый шум.

В массовых рассылках по десяткам тысяч подписчиков A/A-тест почти не нужен: на таких объёмах случайный шум сглаживается сам. В холодном B2B-аутриче, где сегмент — 200–800 контактов, а решение принимается по паре сотен ответов, шум может быть сопоставим с реальным эффектом, который вы пытаетесь измерить в A/B-тесте. Поэтому именно в аутриче A/A-тест особенно полезен.

Когда стоит проводить A/A-тест

Гонять A/A-тест перед каждой обычной рассылкой избыточно — это трата контактов на проверку того, что обычно и так работает предсказуемо. Смысл появляется в конкретных ситуациях: смена платформы или инструмента рассылки, новый крупный сегмент базы с неизвестной степенью однородности, подозрение, что механизм разбиения на группы работает нечестно, или просто первый серьёзный A/B-тест в компании, когда важно понять, чему вообще можно доверять.

Есть и более узкий случай: если предыдущие A/B-тесты давали противоречивые результаты — вариант, который выигрывал на одном сегменте, проигрывал на похожем следующем — стоит остановиться и проверить A/A-тестом, не является ли сама методика сплитования источником разброса, прежде чем продолжать тестировать гипотезы о тексте.

• Переход на новую платформу рассылки или CRM с другим механизмом сплитования базы
• Первый крупный A/B-тест в новом, ранее непроверенном сегменте
• Подозрение, что распределение контактов между вариантами не случайно
• Противоречивые результаты предыдущих A/B-тестов на похожих сегментах
• Аудит методики тестирования раз в полгода-год на ключевых сегментах

Как правильно провести A/A-тест

Механика простая: берётся сегмент, система делит его на две группы тем же способом, что и в реальном A/B-тесте, обеим группам уходит абсолютно одинаковое письмо — тот же текст, та же тема, то же время отправки, те же ящики в ротации. Единственное, что должно отличаться, — сама метка группы в системе, не видимая получателю.

После отправки сравниваются open rate и reply rate между группами A и A. Если платформа честная и группы случайны, разница должна колебаться вокруг нуля в пределах естественного шума выборки такого размера. Если разница системная и повторяется при повторном A/A-тесте на другом сегменте — проблема в механике, а не в случайности.

Важно не путать A/A-тест с проверкой «на глаз». Нужен тот же объём данных, что и в планируемом A/B-тесте: если вы собираетесь тестировать гипотезы на сегментах по 300 контактов, A/A-тест тоже нужно ставить на сегменте такого размера, а не на 50 контактах — иначе вы измерите шум не того порядка.

Как читать результат A/A-теста

Небольшая разница между группами — это нормально и ожидаемо, полностью одинаковых результатов на реальных данных не бывает даже при честном разбиении. Вопрос не в том, есть ли разница вообще, а в её величине относительно того, что вы обычно принимаете за значимый результат A/B-теста.

Если в A/A-тесте разница reply rate достигает, скажем, двух-трёх процентных пунктов на сегменте 300–400 контактов, это значит, что в будущих A/B-тестах на сегментах такого размера разницу меньше трёх-четырёх пунктов не стоит считать доказанной победой одного варианта — она может объясняться тем же фоновым шумом. Это не значит, что тесты бесполезны, это значит, что порог доверия нужно поднять.

Если разница в A/A-тесте оказывается большой и системной — скажем, одна группа стабильно получает на 10–15 пунктов больше ответов при абсолютно одинаковом письме, — это уже не шум, а сигнал о проблеме в механике: неслучайное разбиение, разное качество данных в группах, разные ящики или окна отправки, которые незаметно просочились в тест.

Стоит также обращать внимание не только на итоговую разницу, но и на то, как она распределена по времени отправки: если в первый день группы показывают близкие результаты, а к концу недели расхождение нарастает, это может говорить о том, что одна из групп постепенно получает письма из другого пула ящиков или в другое окно — то есть проблема не в статистике, а в операционном исполнении рассылки.

Частые ошибки при постановке A/A-теста

Ошибки здесь чаще методические, чем содержательные — сама идея простая, но детали легко упустить.

• Слишком маленький объём групп — шум на 30–50 контактах не показателен ни для чего
• Разные условия отправки между группами (разные дни, разные ящики) — это уже не проверка сплитования, а отдельная переменная
• Однократный A/A-тест интерпретируется как окончательный вердикт — для надёжности стоит повторить хотя бы на двух разных сегментах
• Смешение A/A-теста с обычной проверкой доставляемости — это разные задачи с разной методикой
• Игнорирование результата A/A-теста, если он неприятный — если тест показал большой шум, это повод пересмотреть минимальный объём выборки для будущих A/B-тестов, а не список для галочки

Что делать с выводами A/A-теста дальше

Главный практический результат A/A-теста — калиброванный порог доверия для будущих A/B-тестов на этом сегменте или платформе. Если вы выяснили, что фоновый шум на вашей базе даёт разброс в 4–5 пунктов reply rate, любой будущий A/B-тест с разницей меньше этого порога стоит считать неубедительным, даже если один вариант формально «выиграл».

Второй результат — доверие или недоверие к самой платформе разбиения. Если A/A-тест регулярно показывает системную разницу, стоит поднять вопрос с поставщиком инструмента рассылки или сменить механизм сегментации, прежде чем строить решения о продукте и офферах на данных, которые искажены на входе.

Полезно фиксировать результаты A/A-тестов в общем документе команды, а не держать их в памяти одного человека, который их проводил. Через полгода-год, когда в компании появится новый аналитик или изменится состав команды, зафиксированный порог доверия избавит от необходимости заново проверять то, что уже было измерено — и убережёт от ситуации, когда решения по офферам принимаются на основе разницы, которая на самом деле находится внутри уже известного диапазона шума.

Вопросы и ответы