Itereren op mobiele groei-experimenten: Schalen, Itereren of Doden?

Voor beoefenaars van groei mag geen idee te kostbaar zijn om te doden

De belangrijkste beslissing die een groeisteam op gezette tijden moet nemen, is of opnieuw moet worden geïnvesteerd in of de middelen moeten worden gedesinvesteerd van het huidige initiatief of de huidige initiatieven. Naar mijn ervaring komt dit neer op één vraag, die voor elk lopend groei-experiment wekelijks moet worden beantwoord: Schaal, Iteraat of Doden?

Belangrijke activiteiten in de groei-experimentcyclus zijn: ideatie en het genereren van hypotheses , prioritering van nieuwe ideeën, specificeren en instrumenteren van experimenten, analyseren van resultaten en communiceren met het bredere team.

Het wetenschappelijke proces lijkt veel op groeiprocessen (Image: Science Buddies)

Er is niets nieuws of innovatiefs aan het groeiproces: het is in wezen het klassieke wetenschappelijke experimentele proces, toegepast op digitale producten (zie het diagram links door Science Buddies ).

Succesvolle groeiteams over de hele wereld volgen een vergelijkbare aanpak met hun groei-experimenten.

De Scale, Iterate of Kill vraag komt op het cruciale punt in het proces dat vaak het verschil betekent tussen enerzijds het profiteren van het ware potentieel van een succesvol experiment en anderzijds het niet kapitaliseren van die impact terwijl tegelijkertijd verdere sprintcycli worden verspild die itereren een idee dat moet worden geschrapt of opgeborgen.

Het is vrij eenvoudig, maar toch komen de meeste teams routinematig tot deze stap:

• •Als uw experiment slaagt , schaalt u dit naar uw gebruikersbasis (dwz verander uw experimentresultaat in volledige impact).
• •Als uw experiment mislukt, zou u het idee waarschijnlijk dood moeten doden. Het is een niet-starter of het kan aanzienlijk extra werk vergen om het opnieuw te factureren tot een 'betere' poging die nog steeds zou kunnen mislukken.
• •Als de resultaten positieve signalen vertonen, maar geen sterke of overtuigende resultaten, wilt u misschien een andere iteratie overwegen . Je moet dit nog steeds afwegen tegen andere ideeën die wachten in de achterstand.

In een gezond groeiteam moeten de meeste experimenten worden gedood, andere moeten worden geschaald en een aantal mensen verdienen verdere onmiddellijke iteratie. Laten we deze drie mogelijke uitkomsten van het beslissingsproces bekijken:

Kill mislukte initiatieven (snel!)

In het algemeen moet het team fouten maken door niet-succesvolle experimenten te 'doden'.

Het is bevrijdend om ideeën los te laten , verliezen te verminderen, door te gaan en niet vast te zitten in de modus voor dood-paard-geseling; omarmen de realiteit dat veel ideeën gewoon geen winnaars zijn.

Teamdynamiek kan ideeën in het spel houden wanneer ze moeten worden vermoord. Mensen raken gehecht aan slechte ideeën en ego voorkomt dat ze toegeven dat ideeën niet werken; zij beschuldigen de opstelling van het experiment, de analyse of externe factoren en pleiten voor een andere iteratie. Al deze kunnen geldige redenen zijn om vast te houden aan het experiment, of ze kunnen een weigering zijn om een ​​mislukking te accepteren.

Om een ​​organisatorische onschendbaarheid te creëren om gehecht te raken aan slechte ideeën, is het nuttig voor groeiteams om opzettelijk een standaard pro-kill- standpunt in te nemen in de beslisstap van het experimentele proces. Het eisen van een hoge bewijslast om te besluiten een idee niet te doden dat geen effect laat zien in de eerste iteratie, dwingt teamleden om een ​​empirisch argument op te stellen om opnieuw te investeren in een verdere iteratie.

Geen schande bij falen

In een goed functionerend groeiteam is er geen schande in een mislukt experiment; de meeste experimenten zullen mislukken en het team is hier goed in, zolang het momentum hoog blijft. Er moet echter schaamte zijn bij herhaaldelijk herhalen van een slecht idee, ten koste van potentieel betere, in weerwil van groeiend bewijs dat het geen impact zal opleveren.

Een idee vermoorden = stimulus om te leren

Overweeg na het doden van een experiment wat er is geleerd. Het idee werkte niet, althans in deze formulering, maar waarom ? Deze vraag is een trigger voor verder onderzoek en analyse. Dit kan op zijn beurt leiden tot een verbeterde incarnatie van het idee in een later stadium. Elk experiment dat leidt tot een dieper begrip van gebruikersgedrag en psychologie moet niet als een verspilling van tijd worden beschouwd.

Celebrate the Kill

Om de bovenstaande redenen vieren hoogfunctionerende groeiteams moordexperimenten en kijken ze uit naar het testen van het volgende idee. Het proces van het erkennen van de 'kill', het documenteren van leren en vervolgens loslaten maakt mentale ruimte vrij en laat het team zich richten op het aankomende experiment, dat een winnaar zou kunnen zijn.

Tijdens onze wekelijkse vergaderingen in het groeiteam dat ik leidde bij SoundCloud, feliciteerden we de initiatiefnemer van elk idee dat we hebben gedood en hooggeplaatst om het vieren van vooruitgang en het houden van momentum te vieren. Deze viering gebeurde vaak meer dan eens per vergadering; we hebben veel dingen gedood die niet werkten en groeiden om ervan te genieten. Het werd onderdeel van ons ethos om snel te handelen, dingen te testen, te schalen wat werkte en te doden wat niet werkte. Als we het gevoel hadden dat iemand te gehecht was aan hun initiatief, dan zouden we ze eruit zien; af en toe gebeurde dit met mij. Het was een veilige ruimte om dit te doen en leidde ertoe dat het team samensmelt rond een gezonde, ego-loze en rationele benadering van ons werk.

Als het werkt, schaal het dan meteen

De meeste experimenten worden uitgevoerd op minder dan 100% van de doelgroep. Gewoonlijk wordt een testgroep (soms aangeduid als de ' behandelingsgroep ') - een deel van de algemene gebruikersbasis - blootgesteld aan het experiment - zoals een productverandering, een nieuwe functie of een berichtencampagne - terwijl een controlegroep ontvangt de 'normale' (basisproduct) ervaring zonder de experimentele veranderingen. De rest van de gebruikerspopulatie ervaart de basislijn of maakt deel uit van andere experimentele groepen.

Wat we vaak zien tijdens het werken met onze klanten bij Phiture, zijn teams die vastlopen in de 'testmodus': ze voeren experimenten uit, analyseren de resultaten en genereren lessen. Ze testen vervolgens een aantal nieuwe ideeën en leren daar ook van. Verrassend vaak slagen teams er niet in om te profiteren van succesvolle experimenten door ze te schalen van Test tot Productie.

Een groeiteam ziet bijvoorbeeld een toename van 5% in aanmeldingen na het testen van een wijziging in hun registratiestroom. Het resultaat is statistisch significant en heeft een betrouwbaarheidsinterval van 99%.

Dit is een sterk resultaat en moet zo snel mogelijk worden uitgerold naar de hele gebruikersbasis!

Bank de winsten voordat iteratie voor een hogere impact

Is het het beste resultaat mogelijk? Bijna zeker niet; het kan mogelijk zijn om een ​​toename van 10%, een toename van 50% of zelfs een toename van 200% te bereiken met verdere iteratie, of met een radicaal andere benadering. Maar het is een significante verbetering ten opzichte van de baseline. In alle opzichten: blijf doorgaan met het herhalen van de registratiestroom, maar 'bons' de 5% verhoging door het uit te rollen naar de volledige gebruikersbasis; meer gebruikers zullen het registratieproces voltooien terwijl lopende iteratie en ideatie over de registratiestroom plaatsvindt in een volgende groeisprint. In de loop van de tijd tellen kleine winsten als deze op als samengestelde rente, maar alleen als ze worden geschaald naar productie (bank), in plaats van dat ze achterblijven als testresultaten.

Valideren van leren

Schalen valideert leren en bevestigt (of vervalst) het experimentele resultaat, met een grotere steekproef en over een langere tijdsperiode. Dit kan leiden tot meer inzicht in het gedrag van gebruikers en kan leiden tot een verandering van richting en een dieper inzicht in hoe gebruikers omgaan met het product.

Terugdraaien zal niet tot doden leiden

Ten slotte moet in gedachten worden gehouden dat rollbacks, hoewel niet wenselijk, heel goed mogelijk zijn, mocht schaling een vergissing blijken te zijn. In tegenstelling tot medische experimenten hebben groeiproeven met mobiele apps zelden fatale gevolgen; als een winnend experiment wordt geschaald naar productie en onbedoelde neveneffecten of te lage prestaties of verwachtingen introduceert, is de situatie fixeerbaar.

(Misschien) Herhaal als dingen niet doorslaggevend zijn

De meeste experimenten zullen geen positief, statistisch significant resultaat opleveren. Als een experiment niet veel beter presteert dan de controlegroep of een lagere impact heeft, komt dit waarschijnlijk omdat:

1. 1Het idee mist de potentie om positieve impact te genereren (eenvoudig gezegd: het idee is geen winnaar)
2. 2Het idee heeft potentieel, maar de implementatie was slecht (slecht geconstrueerde hypothese, slechte UX van het experiment, slechte bewoording van een kopie in een bericht, etc.)

Niet alle ideeën zullen winnaars zijn; de meesten niet. Hoe moet een team beslissen of een experimenteel initiatief dat een middelmatig of slecht resultaat oplevert, wordt doorverwezen, of doorgaan naar het volgende idee in de achterstand?

Als dit een gemakkelijke beslissing was, zou groei een veel eenvoudigere oefening zijn. In een ideale wereld ontwikkelt het team ervaring met het maken van deze oordeelsvragen in de loop van de tijd, maar in elk geval moet de beslissing over het al dan niet moeten worden genomen in de context van de beweegreden achter het experiment en de andere ideeën in de achterstand.

Werd de hypothese gevormd door robuust kwalitatief onderzoek, kwantitatieve gedrags- of marktgegevens, of door ingeving of 'gevoel van de darm'?

Als er sterke gegevens achter zitten, met logische redenaties dat het experiment impactvol had moeten zijn, dan is het misschien een nieuwe iteratie waard, in een poging om de hypothese opnieuw te testen met een 'beter' experiment, of een enigszins herziene hypothese.

Als de hypothese gebaseerd was op intuïtie, is er een zwakker argument om er in te blijven investeren, hoewel het voor de initiatiefnemer van het idee psychologisch moeilijk kan zijn om dit te accepteren.

Welke andere ideeën zijn er in de achterstand?

Als er ideeën zijn waarvan het team denkt dat ze een betere kans van slagen hebben dan een andere iteratie van het huidige experiment, moeten deze ideeën waarschijnlijk eerst worden getest voordat ze terugkeren naar een andere iteratie. Het team kan altijd terugkeren voor verdere iteraties op onduidelijke experimenten wanneer de achterstand minder nieuwe veelbelovende ideeën bevat.

Was er een aanzienlijke opstarttijd en / of resourcecoördinatie vereist om het experiment te implementeren?

Als er specialistische middelen, uitbestede partners of technologie zijn die speciaal zijn ingezet om deze specifieke hypothese te testen, zodat het opschorten van het experiment en het op een later tijdstip opnieuw bezoeken daarvan een dubbele hit zou betekenen op het gebied van coördinatie en resourcing, zou dit kunnen een argument zijn om verder te itereren. Lange insteltijden tussen experimenten of iteraties vormen een moordenaar voor het momentum van het team en moeten indien mogelijk worden vermeden.

Een goed doel bereiken bij de beslissingsstap moet een belangrijk doel zijn voor groeiteams; het maakt niet uit hoe goed de resultaten zijn als de impact niet wordt geschaald.

Om Jeff Bezos te citeren : "Om uit te vinden moet je experimenteren, en als je van tevoren weet dat het gaat werken, is het geen experiment."

Door de schaal, iterate en kill- process rigoureus te volgen, kunnen groeiteams sneller schakelen en het aantal ideeën dat ze kunnen testen verhogen, wat een belangrijk doel is van een sterke groei-opzet. Het actief vieren van Kills verhoogt het momentum en helpt een middenlange mentaliteit te vermijden waarin alleen middelmatige ideeën worden getest. Scale wins naar productie maximaliseert impact als team vooruit gaat.

Het is ook veel leuker als je leert om je killerinstinct te laten werken;)