Dobre 👍 i złe 👎 wskaźniki w produkcie

Ostatnio miałem klasyczną sytuację przy współpracy z jednym z zespołów produktowych. Jestem na spotkaniu strategicznym dotyczącym rozwoju produktu. Na początku spotkania zespół „DATA” zaprezentował wskaźnik produktowy, którego wartość w ostatnim czasie spadła...

I się zaczęło. Przez 30 minut rozważano wszystkie możliwości, które mogłyby podważyć ten wynik, a także wszystkie argumenty, dlaczego wynik jest nadal świetny i nic złego się nie dzieje. „Podjęliśmy przecież działania żeby było lepiej, na pewno musiały to być działania dobre!” 

Ani razu podczas spotkania nie padło pytanie: “Po co właściwie mierzyliśmy ten wskaźnik?“, “Na jakie pytanie miał on odpowiedzieć?” i “Co jego odpowiednie wartości miały oznaczać?”. Oczywiście zespół finalnie nie doszedł do żadnego konkretnego wniosku po zakończeniu tej dyskusji.

Co tak naprawdę stało się w tym zespole? Wybrano wskaźnik, ale nikt nie jasno określił, po co dokładnie będziemy go mierzyć i jaką decyzję chcemy podjąć na podstawie jego wyników. Mieliśmy do czynienia z (będzie groźnie!) ZŁYM WSKAŹNIKIEM.

Złe wskaźniki

Złe wskaźniki nie dają nam żadnych informacji i tylko wprowadzają zamieszanie. Nie jesteśmy w stanie na ich podstawie podjąć żadnej realnej decyzji.

• Jeśli wskaźnik rośnie, ludzie mają tendencję do przypisywania tego sukcesu swoim aktualnym działaniom. Sprzedaż twierdzi, że to dzięki ich nowym sposób sprzedaży. Marketing, że to dzięki ich nowej kampanii marketingowej. Zespół developerski natomiast uważa, że to wprowadzenie nowej funkcji jest odpowiedzialne za sukces produktu.

• Jeśli wskaźnik spada, reakcja jest zupełnie inna: sukces ma wielu ojców, porażka jest sierotą. „To nie nasza wina, to inny dział zaszkodził naszej pracy”, „Tak naprawdę ten wskaźnik nic nie znaczy, ponieważ nie uwzględniliśmy czynnika xyz”. Negatywne wyniki nie prowadzą do wyciągnięcia właściwych i konstruktywnych wniosków.

Dobre wskaźniki

Jak więc wybierać wskaźniki, które będą miały sens?

Przede wszystkim musimy zmienić nasze podejście. Ja na start nie wychodzę po prostu od analizy danych, które posiadamy, tylko zastanawiam się:

• jaką decyzję będę mógł podjąć na podstawie tego wskaźnika?

• jakie hipotezy, chcemy potwierdzić / odrzucić?

Jeśli rozpoczynamy jakieś działania, musimy na początku się zastanowić po co je chcemy robić i jaki ma być zamierzony efekt:

Aby jasno określić te efekty, można zastosować bardzo proste ćwiczenie: wyobraź sobie, co musi się wydarzyć, abyś był zadowolony po wykonaniu tych działań... Teraz pozostaje nam tylko dobrać odpowiednie wskaźniki, które jednoznacznie pokażą, czy osiągnęliśmy zamierzony efekt.

3P wskaźników

Dobry wskaźnik powinien mieć trzy cechy. Łatwe do zapamiętania, ponieważ wszystkie zaczynają się na literę "p": praktyczność, przejrzystość i przystępność.

1️⃣ Praktyczność - aby wskaźnik miał sens i na jego podstawie można było podejmować decyzje, musi pokazywać zależność przyczynowo-skutkową. Jeśli spada, oznacza to, że coś zrobiliśmy źle, jeśli rośnie, oznacza to, że coś zrobiliśmy dobrze. Jeśli wskaźnik rośnie, potwierdzamy naszą hipotezę, jeśli spada, obalamy ją.

2️⃣ Przejrzystość - zależność przyczynowo-skutkowa musi być jasna, przejrzysta i zrozumiała dla wszystkich zainteresowanych. Bez tego każdy wskaźnik wskazujący na coś negatywnego zostanie natychmiast podważony. Dane, sposób obliczania i zasady działania wskaźnika muszą być uznawane przez pracowników za wiarygodne.

3️⃣ Przystępność - wskaźnik powinien być zrozumiały dla wszystkich osób podejmujących decyzje na jego podstawie. Przystępność oznacza również łatwy dostęp do wyników wskaźnika i możliwość ich przeglądania przez wszystkich zainteresowanych.

Wskaźniki smutnego Product Ownera - moje case study

Najpopularniejszym złym wskaźnikiem, który nie mówi nic konkretnego o produkcie, jest... bezwzględna liczba użytkowników.

Osobiście doświadczyłem tego na własnej skórze. Na początku mojej kariery jako Product Manager w firmie Polskapresse, odpowiadałem za przeprojektowanie jednego z produktów tej grupy wydawniczej. Po kilku miesiącach projektowania, bezsennych nocach i pierwszym wdrożeniu mogliśmy ogłosić sukces - liczba użytkowników znacząco wzrosła (podobnie jak przychody z produktu).

Jednakże, wszyscy byli zaskoczeni, gdy na kwartalnych spotkaniach podsumowujących najważniejsze zmiany w produktach, zaprezentowałem prezentację o tytule "Sukces smutnego Product Ownera".

Skąd ten temat? Liczby zawsze mnie fascynowały, a mierzenie sukcesu za pomocą tylko bezwzględnych wartości nie dawało mi spokoju w nocy. Gdy zanurkowałem w głąb danych analitycznych, zauważyłem, że ten wskaźnik nie ma większego sensu. Nie jest praktyczny, nie wynika wprost z zależności przyczynowo-skutkowej.

Wzrost liczby użytkowników wynikał bardziej z jednorazowej promocji startowej portalu niż z doskonałości produktowej. Co więcej, gdy zdefiniowałem prawidłowe, praktyczne wskaźniki (w tym przypadku konwersji), okazało się, że niektóre z nich po przeprojektowaniu... spadły. To oczywiście spowodowało ten rytualny “smutek”.

Wnioski

Dopiero dzięki odpowiednim wskaźnikom wiedziałem, jakie hipotezy okazały się fałszywe i jakie decyzje należy podjąć. Mogliśmy przejść do iteracyjnej optymalizacji wcześniejszych zmian i weryfikacji ich za pomocą “dobrego” wskaźnika. Dzięki temu produkt odzyskał nowe życie.

Dlatego tak ważne jest na samym początku określenie odpowiednich wskaźników i jasne odpowiedzenie na pytanie: "Po co właściwie mi ten wskaźnik?"

Przykłady dobrych wskaźników produktowych

Na koniec przyjrzyjmy się kilku najpopularniejszym przykładowym wskaźnikom, które spełniają kryteria praktyczności, przejrzystości i przystępności.

1️⃣ Konwersja odwiedzających na płatnych klientów - Ten wskaźnik mierzy liczbę odwiedzających Twoją stronę lub aplikację, którzy ostatecznie kupują lub subskrybują produkt.

konwersja = liczba kupujących / liczba wszystkich użytkowników

• Praktyczność tego wskaźnika polega na tym, że pokazuje, czy Twoje działania marketingowe i funkcjonalności produktu przekładają się na konkretny wynik biznesowy - generowanie przychodów.

• Jest to również przejrzysty wskaźnik, ponieważ zależność przyczynowo-skutkowa jest jasna: im wyższa konwersja, tym lepiej działa Twoja strategia przekształcania odwiedzających w płatnych klientów.

• Dodatkowo, jest przystępny dla wszystkich zainteresowanych, ponieważ łatwo go zrozumieć i śledzić.

2️⃣ Czas średniego zaangażowania użytkownika w produkcie - ten wskaźnik mierzy zaangażowanie użytkownika. Zaangażowanie można liczyć w rożny sposób np. przez średni czas spędzony przez użytkowników w Twoim produkcie w ciągu określonego okresu.

zaangażowanie = łączny czas spędzony w produkcie / liczba odwiedzin produktu w okresie

• Praktyczność tego wskaźnika polega na tym, że pokazuje, czy Twoja platforma jest w stanie zatrzymać użytkowników na dłużej, co może być kluczowe dla generowania przychodów z reklam lub subskrypcji premium.

• Przejrzystość tego wskaźnika wynika z jego zależności przyczynowo-skutkowej: im wyższy czas średniego zaangażowania, tym bardziej angażujący i wartościowy jest Twój produkt.

• Jest on również przystępny, ponieważ wszyscy mogą łatwo monitorować czas spędzany przez użytkowników na platformie.

3️⃣ Współczynnik utrzymania klientów (retencja) - szczególnie przydatne w produktach opartych na subskrypcjach lub regularnych zakupach. Ten wskaźnik mierzy procentowy udział klientów, którzy kontynuują korzystanie z Twojego produktu lub usługi w określonym czasie.

retencja = liczb użytkowników kontynuujących używanie / liczba użytkowników na początku okresu

• Praktyczność tego wskaźnika polega na tym, że pokazuje, czy Twój produkt rzeczywiście dostarcza wartość (rozwiązują problemy) Twoich użytkownikom

• Przejrzystość tego wskaźnika wynika z jego zależności przyczynowo-skutkowej: im wyższy współczynnik retencji tym większa szansa, że produkt rozwiązuje powtarzalne problemy klientów i większe są szanse na powtarzalne przychody.

• Jest on również przystępny, ponieważ łatwo go zrozumieć i monitorować, a także porównywać z benchmarkami w branży.

Powodzenia w używaniu DOBRYCH wskaźników!