[F4T] Użytkownicy mają gdzieś, że jesteście „produktem AI”, wpływ Product Trio, problemy z Deep Research

Dzisiaj w newsletterze kolejne produktowe „Food 4 Thoughts” [F4T], czyli 3 materiały, które mnie zainspirowały w ostatnim czasie i finalnie trafiły do prywatnej „bazy wiedzy”. Z najciekawszych treści robię sobie zawsze notatki na przyszłość 📝 - znajdziesz je poniżej: 

• 1️⃣ Użytkownicy mają gdzieś, że jesteście „produktem AI”. Nie warto podążać z trendem labelowania wszsytkiego jako AI.

• 2️⃣ Wpływ pracy w Product Trio na zespół produktowy - wyniki ankiety

• 3️⃣ Problem z „Deep Research” od OpenAI - ta funkcja powinna być dla nas wybawieniem w researchu, ale…

Smacznego!

1️⃣ Użytkownicy mają gdzieś, że jesteście „produktem AI”

Wszyscy wypuszczają nowe ficzery AI, każdy produkt to teraz "produkt AI”. Produkty prześcigają się w podkreślaniu na landing page’ach i przekazie marketingowym jak bardzo są “AI powered”.

Czy warto podążać za tym trendem? Otóż niekoniecznie ❌.

Growth Unhinged przeprowadził eksperyment, w którym sprawdził jak użytkownicy reagują na podkreślanie, że jest się produktem AI.

Uczestnicy badania otrzymali do przejrzenia landing page czterech rzeczywistych produktów wykorzystujących sztuczną inteligencję.

• Wersja A - w tej wersji leandinga podkreślano obecność AI, używając określeń takich jak „napędzane AI” czy „LLMs”.

• Wersja B - W drugiej wersji skupiono się wyłącznie na funkcjach i korzyściach produktu, pomijając bezpośrednie odniesienia do AI.

Co się okazało? Jakie były wniki eksperymentu?

• 🔹 Niższe oczekiwań względem produktów AI: Zamiast wzmacniać pozytywne skojarzenia, określenia siebie jako „produkt AI” faktycznie obniżyło oczekiwania co do potencjalnej wartości produktu.

• 🔹 Brak wpływu gotowość do zapłaty (WTP - Willingness to Pay): Samo oznaczenie produktu jako „napędzanego AI” nie wystarcza, by uzasadnić wyższą cenę. Użytkownicy nie są skłonni płacić więcej, jeśli narzędzie nie oferuje jednoznacznych i przekonujących korzyści.

• 🔹 Brak wpływu na zaufanie do produtku - W przypadku większości marek wyraźne wspominanie o sztucznej inteligencji nie zwiększyło zaufania klientów do niezawodności narzędzia.

Krótko mówiąc: hype wokół AI nie wystarczy. Liczy się realna wartość. 🚀

2️⃣ Wpływ pracy w Product Trio na zespół produktowy

Interdyscyplinarna współpraca to mega wyzwanie - ogarnięcie zainteresowanych, zgranie różnych perspektyw, budowanie zaangażowania mimo róznych POV. I to wszystko zajmuje cholernie dużo czasu.

Kiedy jednak zwolnimy, posłuchamy zaintersowanych, ludzie są zwyczajnie bardziej zadowoleni. Dlatego sam jest wielkim fanem Product Trio w zespołach produktowych.

Teresa Torres rzuciła właśnie trochę światła na to jak pracujemy w swoich produktowych Trio - opublikowała wyniki swojej ankiety “2024 CDH Benchmark Survey” na 680 produktowcach.

• 🔹 Praca w ramach Product Trio wiąże się z wyższym poziomem satysfakcji z zespołu i firmy. Im więcej czasu ludzie spędzali ze swoim Product Trio, tym bardziej byli zadowoleni. Wyniki te są spójne z poprzednim badaniem z 2022 roku.

• 🔹 62,8% respondentów zadeklarowało pracę w ramach Product Trio - tu trzeba jednak zaznaczyć, że liczba ta prawdopodobnie nie odzwierciedla stanu całej branży ze względu na to że dużo osób ze społęczności Teresy Torres brało udział w ankiecie. W naszej ankiecie Stan product managementu w Polsce - wyniki ankiety - mieliśmy wynik 50%.

• 🔹 Product Trio składa się zazwyczaj z product managera, designera i inżyniera. Dane potwierdzają to założenie - 68,4% respondentów pracujących w Product Trio wskazało, że ich zespół składa się dokładnie z tych ról.

• 🔹 Średnio członkowie Product Trio spędzają razem 3-5 godzin tygodniowo na wspólnej pracy.

Ja się cieszę, że te dane sa dość zbieżne z naszymi wynikami z Stan product managementu w Polsce - wyniki ankiety .

3️⃣ Problem z „Deep Research” od OpenAI

Benedict Evans wziął na warsztat nową zabawkę od OpenAI - Deep Research w ChatGPT. Zapowiada się super, bo kto z nas, product managerów i headów of product, nie marzy o narzędziu, które ogarnie za nas ten ciągły research i analizę? Przekopywanie danych, składanie ich w sensowne całości, wyciąganie insightów…

Evans, opierając się na swoim bogatym doświadczeniu (zajmuje się rynkiem mobile od 20 lat, był partnerem w fundusz Andreessen-Horowitz), przetestował tę funkcję na przykładzie raportu OpenAI dotyczącego rynku smartfonów.

Na pierwszy rzut oka wszystko wyglądało pięknie, ale po sprawdzeniu raportu jest cała masa błędów. Weźmy taką tabelkę z udziałami systemów operacyjnych na różnych rynkach:

❌ Powierzchowne źródła i nieprecyzyjne dane

Na pierwszy rzut oka - godziny mozolnego zbierania danych w jednym miejscu. Problem tkwi w źródłach danych - Statcounter i Statista.

Każdy, kto choć trochę siedzi w analizach rynkowych, wie, że Statcounter to miernik ruchu, a niekoniecznie adopcji (iPhone'y generują większy ruch, więc zawyżają wyniki iOS). Statista z kolei to agregator danych, często ukrytych za paywallem. Powołanie się na Statista jako źródło to trochę jak powiedzieć, że źródłem jest "wynik wyszukiwania w Google". Błąd na poziomie stażysty, jak celnie zauważa Evans.

❌ Błędy merytoryczne

Ale to dopiero początek zabawy. Spójrzmy na Japonię. Deep Research twierdzi, że tam iOS ma 69%, a Android 31% rynku. Evans zadaje dwa kluczowe pytania: czy to w ogóle wynika z tych "źródeł" i czy te "źródła" mają rację?

Okazuje się, że Statcounter w ogóle nie podaje takich danych od ponad roku. A Statista? Po przeklikaniu się przez tonę formularzy, znajdujemy, że prawdziwym źródłem jest firma badawcza Kantar Worldpanel, która podaje… dokładnie odwrotne liczby: 63% Android i 36% iOS. Ups.

I tu mam clue problemu? Jeśli musisz weryfikować każdą daną w tabeli, to cała „oszczędność czasu" dla eksperta idzie do kosza. Równie dobrze możesz zrobić to samemu od początku. Dla ciekawostki Evans sprawdził, że japoński regulator podaje jeszcze inne dane (około 53% Android i 47% iOS).

❌ Problem z determinizmem

Evans zwraca uwagę na fundamentalną różnicę między probabilistyczną naturą LLM-ów a deterministyczną potrzebą precyzyjnych danych w researchu. Zadajemy modelowi probabilistyczne pytanie ("jak wygląda adopcja?"), ale oczekujemy deterministycznej odpowiedzi (konkretnej liczby z wiarygodnego źródła), i tutaj model zawodzi.

BTW. Jak masz coś (artykuł, link, video), co Ciebie zainspirowało mocno w ostatnim miesiącu - podeślij, chętnie przyjmę 🙂