Українська онлайн-платформа Preply, ніби звичайний сайт, але за яким стоїть величезна корпорація, приголомшує своїм вражаючим розмаїттям: понад 40 тисяч репетиторів пропонують заняття з 50 мов світу для сотень тисяч учнів з 180 країн. Ще більше захоплює підхід компанії до пошуку оптимальних рішень. Вони вірять у важливість продуктових гіпотез і систематично проводять a/b testing, щоб перевірити їх ефективність. Цей підхід виявився дієвим, враховуючи постійний ріст оцінки стартапу, яка за даними Forbes сягає $130–200 млн. Для Preply пріоритетом завжди є не лише заробіток, але й пошук оптимальних рішень, і саме тому вони активно використовують A/B тестування для досягнення цієї мети.
Дмитро Волошин, сo-founder та СТО в компанії Preply поділився цим досвідом з Ukrainian Digital Community.
A/B тестування — що це та як працює
A/B тестування — це метод, що використовується в маркетингу та веб-розробці для порівняння двох версій одного елемента з метою визначення того, яка сторінка краще працює. Зазвичай одна з версій вважається базовою (контрольною), тоді як інша — експериментальною.
Процес ab testing включає наступні кроки:
- у першому етапі визначається метрика успіху — ключовий показник, який буде використовуватися для оцінки ефективності версій
- далі аудиторію розділяють на дві групи випадковим чином: одній показують контрольну версію, іншій — експериментальну
- після цього проводиться впровадження змін: експериментальній групі показують нову версію елемента, що тестується, у той час, як контрольній групі показують оригінальну версію
- після того, як обидві групи взяли участь у тестуванні, збираються дані про їх поведінку, які аналізуються для визначення того, яка версія ефективніша за обраною метрикою
На основі аналізу результатів приймаються рішення щодо того, чи необхідно впроваджувати зміни, які були протестовані. Якщо нова версія показала кращі результати, вона може бути впроваджена на постійній основі. A/B тестування дозволяє компаніям ефективно визначити, які зміни можуть покращити їх продукт чи сервіс, зменшуючи витрати і ризики на мінімум.
Навіщо проводити A/B testing: важливість спліт тестів
Замість того, щоб робити рішення на основі припущень, можна використовувати дані, щоб приймати обґрунтовані рішення та визначити робочий варіант.
Одна з головних причин, чому проводять A/B тестування, — отримання об’єктивної інформації. Замість вигадок, компанії можуть підтримати свої рішення даними про те, які зміни дійсно впливають на користувачів. Це допомагає уникнути помилок і приймати кращі рішення.
Також A/B тестування допомагає зменшити ризики. Замість того, щоб вкладати багато грошей у великі зміни, компанії можуть спочатку перевірити малі зміни на малій аудиторії, щоб переконатися, що вони працюють. Це дозволяє економити час і гроші.
Що тестувати?
Ми завжди розбиваємо всі наші ідеї на невеликі кроки. Якщо ми хочемо випробувати щось нове, ми робимо це шматочками. Ми вважаємо, що важливіше довіряти даним конверсії, а не своїй інтуїції. Навіть якщо ми думаємо, що знаємо, що краще для наших користувачів, ми все одно можемо помилятися. Тому ми використовуємо A/B тестування, щоб перевірити, які зміни справді працюють.
У нас виникало багато спротиву, коли ми впроваджували культуру ab test. Багато людей боялися математики та часу, який це займе. Проте, насправді, це не так складно. Існують багато інструментів, які роблять це за вас, вам лише потрібно зрозуміти основи. Ми почали з простих інструментів, але з часом перейшли на більш розвинуті для оптимізації результатів.
Але коли ваш продукт вже на ринку, тестування може бути складнішим. Більшість тестів можуть бути негативними, і це може бути важко. Але ми все одно вважаємо, що краще перевірити за допомогою даних, ніж спиратися на інтуїцію.
Не існує універсального рішення для всіх. Ми вивчили, що для досягнення великих успіхів потрібно робити значні, але розумні зміни у продукті. Наприклад, тестування кольору кнопок не принесе великих результатів. Ми вважаємо, що для досягнення значних змін потрібно робити великі кроки, але тестувати їх поетапно.
Потрібно знайти баланс між радикальними та інкрементальними змінами у продукті. Важливо запускати багато A/B тестів, а не обмежуватися декількома. Навіть якщо перших кілька тестів не працюють, важливо вірити у методологію тестування. Також, потрібно мати засоби для виявлення помилок у процесі тестування.
Як проводити A/B тестування: 6 кроків
Для того, щоб провести a/b test, варто дотримуватися простого алгоритму.
Фіксація цілі та тест стратегії
Спочатку визначте, що саме ви хочете виміряти або покращити за допомогою а/в тестування. Наприклад, це може бути покращення конверсії на вашому веб-сайті, або підвищення кількості відвідувачів на рекламні оголошення, або ж інші елементи.
Визначення метрик
Визначте, які саме аспекти ви хочете змінити після ab тестування. Це може бути текст, колір, розмір кнопки, трафік або будь-який інший елемент, який ви вважаєте ключовим для досягнення вашої мети.
Формулювання гіпотез
Сформулюйте гіпотезу про те, як зміни, які ви вносите під час аб тестування, можуть вплинути на результат. Наприклад, “Зміна кольору кнопки зеленим кольором збільшить кількість кліків”.
Налаштування A/B тесту
Розділіть вашу аудиторію у split testing на дві випадкові групи: контрольну групу (A) і тестову групу (B). Застосуйте зміни до тестової групи, залишаючи контрольну групу без змін. Зберіть дані про результати в обох групах.
Проведення експерименту
Порівняйте результати контрольної і тестової груп. Визначте, чи є тест стратегія зі статистично значущою різницею між ними. Деякі популярні методи аналізу включають t-тест і аналіз середніх.
Аналіз результатів та впливу A/Б тестування
На основі результатів спліт тестування виберіть варіант, який працює краще, і внесіть відповідні зміни. Якщо тест не показав статистично значущих різниць, знову переосмисліть свої гіпотези та спробуйте інші зміни.
Preply як приклад ефективного застосування A/B тестування
Preply — хто це?
Ми розвиваємо платформу для онлайн вивчення мов з викладачами та груповими заняттями. Почали ми десять років тому, коли онлайн навчання стало трендом, і під час пандемії наш ріст ще більш став активним. Основні ринки — Європа і США, хоча ми також присутні в Україні.
Наш продукт заснований на A/B тестуваннях, які допомагають нам постійно вдосконалювати його. Ми проводимо тисячі тестів щорічно і можливо, є одними з найкращих у цьому.
У нас інтернаціональна команда зі співробітниками з 57 національностей, але в лідерському складі — іноземці з топових європейських компаній. Ми починали як стартап, отримали інвестиції від топових фондів і зараз є найбільшими в своїй ніші у світі.
Ми розширюємося, введенням нових продуктових лінійок, зокрема, B2B сектору, де наші клієнти — великі міжнародні компанії. Ми також використовуємо культуру Кремнієвої Долини для будівництва компанії, подібно до того, як це роблять стартапи у США.
Унікальний підхід до A/B тестування в Preply
Коли йдеться про A/B тестування, спліт тест, ми зосереджуємося на тестуванні конкретних елементів, таких як копітекст чи дизайн лендінг-сторінки. Але чи варто робити кастомізацію для користувачів, які приходять через платні канали? Наприклад, розрізняти їхні фільтри чи контент.
Так, варто. Виходячи з вартості залучення клієнта, можна зробити спеціальні ранжування, які спрямовані на збільшення конверсії з цих каналів. Ми ставимо гроші в основу прийняття рішень, але також слід враховувати вигоди для користувача.
Коли тестуємо функції, результати залежать від того, наскільки актуально це для вашої аудиторії. Наприклад, слово “безкоштовно” може бути важливим для інтенд-трафіку, але не для фрішного. Функції варто періодично перевіряти, особливо при зміні умов.
Із сотень тестів лише декілька будуть справжньо вдалими. Тому важливо заретестувати найважливіші через кілька років, коли ситуація зміниться.
У світі онлайн бізнесу A/B тестування стає необхідним інструментом для постійного вдосконалення продукту. Його успішне впровадження дозволяє компаніям не лише виявити найефективніші рішення, але й підтвердити їх ефективність за допомогою об’єктивних даних. Завдяки методології A/B тестування компанії можуть працювати над постійним покращенням користувацького досвіду та забезпечити свою конкурентоспроможність на ринку.
