BTW. 11 kwietnia startuję drugą edycję bezpłatnych lekcji z Akademii Analityki Produktowej 📈. Wersja ROZSZERZONA: łącznie 6 lekcji + nowy BONUS. Zapraszam 👉 Można się jeszcze zapisać.

SAVE RATE: % użytkowników, którzy zapisali przynajmniej 1 piosenkę (oczywiście tych wskaźników było więcej, znajdziesz je na końcu).

Dlaczego? Dla zespołów produktowych ważne jest, żeby w operacyjnej pracy kierować się tzw. leading indicators.

Leading indicators to wskaźniki wyprzedzadzjące - czułe na zmiany w produkcie, na które mamy wpływ naszą pracę i które przewiduje przyszłe biznesowe rezultaty (lagging indicators). Dzięki temu pracując iteracyjnie, jesteśmy w stanie na bieżąco weryfikować, czy idziemy w dobrą stronę.

Procent użytkowników, którzy dodali przynajmniej jedną piosenkę z Discovery Weekly do swoich osobistych playlist/bibliotek będą dobrą metryką dla zespołu produktowego, bo ten wskaźnik:

• Pokazuje aktywne zaangażowanie - użytkownik nie tylko słucha, ale aktywnie zachowuje utwory, które mu się podobają

• Szybko się zmienia i bezpośredni wpływ - zespół widział efekty zmian w algorytmie rekomendacji już w ciągu pierwszych dni po wdrożeniu kolejnych iteracji

• Wyprzedza długoterminowe metryki sukcesu - użytkownicy, którzy zapisują utwory, zwykle pozostają dłużej na platformie i częściej przechodzą na wersję premium

Więcej o rozróżnieniu na leading vs lagging indicators w produkcie opowiedziałem w pierwszej lekcji w ramach Akademii Analityki Produktowej FREE 📈.

Dlaczego NIE pozostałe metryki?

• Unique Users (UU) - mogłaby być sztucznie zawyżona przez jednorazowe odwiedziny użytkowników ciekawych nowości lub przez „promocję” nowego ficzera, nie pokazuje faktycznego zaangażowania ani wartości.

• Premium Subscriptions for "Lean-back listeners" (PS) - zbyt odległa metryka, lagująca, na którą wpływa wiele innych czynników niż tylko nasze działania; zmiany widoczne (o ile w ogóle da się to udowodnić) dopiero po dłuższym czasie. Zespół nie będzie w stanie na bieżąco oceniać swoich rezultatów.

• Conversion to Premium (CP) - również zbyt odległy wskaźnik, na który wpływa wiele innych czynników poza samą funkcją Discover Weekly nad którą zespół pracuje.

Co oczywiście nie znaczy, że nie warto w ogóle na takie laggujące wskaźniki w ogóle patrzeć - będą one dobre na poziomie strategicznym pracy nad produktem. Będzie to nich kontrybuowało pewnie wiele inicjatyw i zespołów.

Jakie inne „leading indicators” tutaj pasują?

1. CTR Discover Weekly (Click Through Rate) - % użytkowników, którzy kliknęli w playlistę po jej zobaczeniu (czy udało się przyciągnąć uwagę?).

2. Songs Played from Discover Weekly - liczba utworów z playlisty, które użytkownik rzeczywiście przesłuchał (mega ważna IMHO).

3. Completion Rate - % użytkowników, którzy przesłuchali całą playlistę lub określoną liczbę utworów z niej (czy użytkownicy chcą kontynuować słuchanie?)

4. % użytkowników, którzy wrócili po tygodniu i przesłuchali kolejną Discover Weekly - szybka forma mini-retencji (czy funkcja zaczyna budować nawyk?).

Jak to wyszło w praktyce w Spotify?

Takie były realne pierwsze wyniki:

• Po wdrożeniu zespół zaobserwował, że 71% użytkowników dodało co najmniej jeden utwór do własnych playlist

• W ciągu pierwszych 10 tygodni po globalnym wdrożeniu użytkownicy odtworzyli ponad miliard utworów z Discover Weekly,

• 60% osób, które wypróbowały tę funkcję, odtworzyło co najmniej 5 utworów.

Co najważniejsze, po kilku miesiącach zaobserwowano znaczący wzrost liczby subskrypcji premium wśród segmentu "Lean-back listeners" - potwierdzając, że wysoki Save Rate faktycznie przekładał się na długoterminowe wskaźniki biznesowe.

📚 Źródła Case Study:

• https://www.svpg.com/product-model-at-spotify/

• https://engineering.atspotify.com/2015/11/what-made-discover-weekly-one-of-our-most-successful-feature-launches-to-date/

• https://www.tryexponent.com/questions/362/metrics-for-spotify-discover-weekly