Урок 1. Культура экспериментов

20-30 мин

Зачем эксперименты в SDR

  • Рынок меняется — то, что работало вчера, не работает сегодня
  • Intuition is not enough — нужны данные
  • Continuous improvement — маленькие gains складываются
  • Team engagement — SDR участвуют в улучшении процесса

Что тестировать

  • Subject lines: открываемость писем
  • Email body: длина, структура, CTA
  • Cadence: количество touchpoints, timing
  • Channels: email vs LinkedIn vs call first
  • Messaging: pain-focused vs benefit-focused
  • Personalization: уровень и тип
  • Targeting: разные ICP segments
Правило: Тестируем ОДНУ переменную за раз. Иначе не поймём, что сработало.

Урок 2. Формулировка гипотез

25-35 мин

Структура гипотезы

Формат: "Если мы [изменение], то [метрика] улучшится на [%], потому что [reasoning]."

Примеры хороших гипотез

  • "Если мы сократим subject line до 4 слов, то open rate вырастет на 15%, потому что короткие subject lines лучше читаются на mobile."
  • "Если мы добавим LinkedIn touch перед первым email, то reply rate вырастет на 20%, потому что prospect уже видел наше имя."
  • "Если мы начнём email с вопроса вместо утверждения, то reply rate вырастет на 10%, потому что вопросы провоцируют ответ."

Источники гипотез

  • Анализ best performing emails/calls
  • Feedback от prospects (почему не ответили)
  • Industry benchmarks и research
  • Идеи от SDR team
  • Competitor analysis
Плохая гипотеза: "Давайте попробуем что-то новое." Нет измеримого outcome и reasoning.

Урок 3. Дизайн A/B тестов

35-45 мин

Элементы A/B теста

  • Control (A): текущий вариант
  • Treatment (B): новый вариант
  • Sample size: сколько contacts нужно
  • Duration: сколько времени запускать
  • Primary metric: что измеряем (open rate, reply rate, meeting rate)

Расчёт sample size

Для статистически значимого результата нужен достаточный объём:

  • Baseline conversion 5%: ~400 contacts на вариант для detect 20% lift
  • Baseline conversion 10%: ~200 contacts на вариант для detect 20% lift
  • Baseline conversion 20%: ~100 contacts на вариант для detect 20% lift

Правила проведения

  • Random assignment в группы A и B
  • Одинаковые conditions (тот же ICP, тот же timing)
  • Не менять ничего в процессе теста
  • Дать тесту достаточно времени (минимум 1-2 недели)
Tools: Outreach и Salesloft имеют built-in A/B testing. Используйте их вместо manual tracking.

Урок 4. Анализ результатов

30-40 мин

Когда результат значим

  • Statistical significance: p-value < 0.05 (95% confidence)
  • Practical significance: разница достаточно большая, чтобы matter
  • Используйте калькуляторы: AB Test Calculator, Optimizely Stats Engine

Интерпретация результатов

  • Clear winner: статистически значимо лучше → внедряем
  • No difference: нет разницы → оставляем control (проще)
  • Inconclusive: недостаточно данных → продолжаем тест или увеличиваем sample
  • Unexpected results: B хуже → анализируем почему, учимся

Beyond primary metric

  • Смотрим на downstream metrics (reply → meeting → SQL)
  • Сегментируем: работает ли одинаково для всех ICP segments?
  • Qualitative feedback: что говорят prospects?
Ошибка: Останавливать тест, как только видим "победителя". Дайте тесту набрать нужный sample size.

Урок 5. Итерации и масштабирование

20-30 мин

После успешного теста

  • Document learnings (что узнали, почему сработало)
  • Roll out winning variant для всей команды
  • Update playbooks и templates
  • Share с командой (team meeting presentation)
  • Следующая гипотеза: что ещё можно улучшить?

Experiment Cadence

  • Weekly: small tests (subject lines, CTA wording)
  • Monthly: medium tests (email structure, cadence steps)
  • Quarterly: big tests (new channels, major messaging shifts)

Building Experiment Culture

  • SDR team proposes hypotheses (не только менеджер)
  • Celebrate learnings, not just wins (failed tests тоже ценны)
  • Experiment backlog: prioritized list of ideas to test
  • Regular experiment reviews (что запустили, что узнали)

Шаблоны для копирования

Hypothesis Template 
## Experiment Hypothesis

### Hypothesis Name: _____________
### Owner: _____________ Date: _____________

### Hypothesis Statement
If we [specific change]
Then [primary metric] will [increase/decrease] by [X%]
Because [reasoning based on data/insight]

### Background
What data/observation led to this hypothesis?
_______________

### Test Details
- What are we testing? _______________
- Control (A): _______________
- Treatment (B): _______________
- Primary metric: _______________
- Secondary metrics: _______________

### Target Audience
- ICP segment: _______________
- Sample size needed: _______________
- How will we split traffic? _______________

### Duration
- Start date: _______________
- End date: _______________
- Minimum runtime: _______________

### Success Criteria
- Minimum lift to declare winner: ____%
- Statistical significance required: 95%

### Risks / Considerations
_______________

### Approved by: _____________ Date: _____
A/B Test Tracker 
## A/B Test Tracker

### Test Name: _____________
### Status: □ Planning □ Running □ Analyzing □ Complete

### Test Setup
| | Control (A) | Treatment (B) |
|---|---|---|
| Description | | |
| Sample Size | | |
| Start Date | | |
| End Date | | |

### Results (update daily/weekly)
| Date | A Sent | A Opens | A Open% | A Replies | A Reply% | B Sent | B Opens | B Open% | B Replies | B Reply% |
|------|--------|---------|---------|-----------|----------|--------|---------|---------|-----------|----------|
| | | | | | | | | | | |
| | | | | | | | | | | |
| TOTAL | | | | | | | | | | |

### Statistical Analysis
- Lift: ____% (B vs A)
- P-value: _____
- Confidence: _____%
- Significant? □ Yes □ No

### Downstream Metrics
| Metric | Control (A) | Treatment (B) | Lift |
|--------|-------------|---------------|------|
| Meetings Booked | | | |
| Meeting Rate | | | |
| SQLs | | | |

### Conclusion
□ Clear winner: _____ 
□ No significant difference
□ Inconclusive (need more data)

### Learnings
_______________

### Next Steps
_______________
Experiment Backlog 
## SDR Experiment Backlog

### Prioritization Criteria
- Impact: How much could this improve results? (1-5)
- Confidence: How sure are we it will work? (1-5)
- Ease: How easy to implement and measure? (1-5)
- ICE Score = Impact × Confidence × Ease

### Backlog
| ID | Hypothesis | Impact | Conf | Ease | ICE | Status | Owner |
|----|------------|--------|------|------|-----|--------|-------|
| 1 | | | | | | Backlog | |
| 2 | | | | | | Backlog | |
| 3 | | | | | | Backlog | |
| 4 | | | | | | Running | |
| 5 | | | | | | Complete | |

### This Quarter's Focus Areas
1. _______________
2. _______________
3. _______________

### Recently Completed Tests
| Test | Result | Lift | Action Taken |
|------|--------|------|--------------|
| | | | |
| | | | |

### Learnings Repository
1. _______________
2. _______________
3. _______________
Experiment Results Report 
## Experiment Results Report

### Test Name: _____________
### Date: _____________ Owner: _____________

---
### EXECUTIVE SUMMARY
Result: □ Winner found □ No difference □ Inconclusive
Recommendation: _______________

---
### HYPOTHESIS
We believed that [change] would improve [metric] by [X%] because [reason].

### TEST DESIGN
- Control: _______________
- Treatment: _______________
- Duration: _____ days
- Sample: _____ contacts per variant

### RESULTS

#### Primary Metric: _____________
| Variant | Volume | Conversions | Rate | vs Control |
|---------|--------|-------------|------|------------|
| A (Control) | | | | - |
| B (Treatment) | | | | +/-___% |

Statistical significance: ___% (p = _____)

#### Secondary Metrics
| Metric | Control | Treatment | Lift |
|--------|---------|-----------|------|
| | | | |
| | | | |

---
### ANALYSIS
Why did this happen?
_______________

Unexpected findings:
_______________

---
### RECOMMENDATION
□ Roll out Treatment to all
□ Keep Control (no change)
□ Run follow-up test
□ Other: _______________

### NEXT STEPS
1. _______________
2. _______________

### APPENDIX
Raw data, screenshots, additional analysis
_______________
← Модуль 10: Онбординг Модуль 12: Масштабирование →