Organiser un programme bêta

De nombreux product owners lancent des fonctionnalités ou produits sur le marché sans avoir de programme bêta. Est-ce une erreur ?

Dans ce post je vous explique :

• C’est quoi un programme bêta 
• Ce que n’est pas un programme bêta
• Comment recruter des bêta testeurs 

C’est quoi un programme bêta ?

Un programme béta est la mise en place d’un environnement privé destiné à une poignée d’utilisateurs qui ont accepté de tester en avant première votre solution et vous donner leurs avis.

A quoi ça sert ?

Même si c’est souvent au département produit et aux product owners de réaliser un programme beta, l’idée originelle est de valider une hypothèse de marché.

Dans ce sens, ce type d’outil s’élabore main dans la main avec le marketing.

Le but est de regrouper 3 variables pour valider une hypothèse. 

• Le besoin exprimé ou étudié (Etude marketing)
• La solution (Produit)
• Un échantillon d’utilisateurs tests (Produit et Marketing).

Les bénéfices

• Valider une solution produit rapidement
• Identifier des oublis ou des erreurs et corriger le tir avant le lancement de la solution
• Faire des projections plus précises sur les KPIs post lancements

Dans certains cas

• Abandonner les efforts et les investissements de développements si les résultats sont nuls ou négatifs

Ce que n’est pas un programme bêta ?

Un programme bêta n’est pas une recette publique.

Avoir des utilisateurs tests ne remplacent pas vos tests fonctionnels.

Le but d’un programme bêta n’est pas d’avoir des utilisateurs sous le coude pour vous aider à détecter d’éventuels bugs.

Le but est avant tout de vous aider à comprendre le besoin.

• Est ce que cela répond aux attentes de vos utilisateurs finaux ?
• Est ce que ça leur plait ?
• La fonctionnalité à t-elle une utilité ou un usage réel ?

C’est pour cela qu’il est très important quand on parle de programme bêta de recruter des personnes qui font déjà partie de vos utilisateurs.

Ne recrutez pas des gens lambda que vous trouvez sur des plateformes payantes telles que usertesting.
Même si vous tombez sur des testeurs qui trouvent votre fonctionnalité cool, ils ne l’achèteront pas car ils ne font pas partie de votre cible.

L’objectif final est de savoir si votre cible (uniquement) est intéressée par votre nouvelle solution.

• Avec le programme bêta, vous testez le besoin avant tout.
• Si vous détectez des bugs très bien, mais ce n’est pas le but final (normalement vous avez des testeurs pour ça)

Un test A/B n’est pas un programme bêta

Quand vous lancez un test A/B, vous lancez dans un environnement de prod.

Vous lancez votre nouvelle fonctionnalité sur la même branche que l’ensemble de votre produit.

J’adore les tests A/B mais je les considère plus efficaces pour des solutions cosmétiques (Design) ou de wording :

• Refonte de la charte graphique
• Changement de la homepage
• Nouveau menu de navigation
• Nouveau logo

Ce genre de changement apporte en général un feedback rapide et massif à la fois au niveau quantitatif et qualitatif. 

En revanche, si vous lancez une nouvelle fonctionnalité en test A/B, il est beaucoup plus difficile et beaucoup plus long de tester son efficacité.

Les raisons sont simples :

• Votre nouvelle fonctionnalité n’est pas forcément accessible en 1ere page
  • Exemple : Push notification déclenchée par une certaine action de l’utilisateur
• Votre nouvelle fonctionnalité n’est pas une fonction primaire
  • Exemple : Changement de devises sur un site e-commerce

Bref, toutes vos nouvelles idées ou solutions se sont pas forcément évidentes à tester pour tout le monde en 1 seule session utilisateur.

Cela ne veut pas dire pour autant qu’elles ne sont pas utiles ou même vitales.

Simplement, le recours au test A/B va vous demander beaucoup plus de temps et un échantillon beaucoup plus grand pour récolter les résultats que vous espérez.

L’intérêt d’un programme bêta par rapport à un test A/B est de pouvoir tester une solution en isolation sur une environnement dédié auprès d’utilisateurs avertis.

En clair :

• Dans un programme bêta, vous indiquez aux utilisateurs ce qu’ils doivent tester précisément pour récolter leur avis immédiatement.
  
• Dans un test A/B, les utilisateurs ne sont pas au courant qu’ils testent quelque chose de nouveau et vous devez déduire leur opinion en analysant et comparant des métriques d’usages.

Comment constituer un programme bêta ?

Collectez des adresses e-mails

Si vous partez de zéro, il n’y a qu’une seule méthode.

• Rédigez un e-mail simple et concis à l’attention de vos bêta testeurs en indiquant le but de votre programme
• Sélectionner un segment de votre base de données ou prenez toutes vos bases de données (en fonction de vos critères d’utilisateurs recherchés).
• Créez une landing page simple pour récoltez les adresses e-mails en opt-in
• Envoyez votre e-mail à votre segment
• En parallèle, vous pouvez recruter aussi des bêta testeurs à travers les réseaux sociaux

Astuces :

Si votre base d’utilisateurs est très petite, prévoyez plus d’un e-mail d’invitation à envoyer. En général le taux de réponse à ce type d’e-mail est souvent très faible (moins de 2%).

Je vous conseille une séquence de 3 ou 4 e-mails à envoyer sur une période de 30 jours.

Cela vous permettra de récolter plus de volontaires car :

• Tout le monde ne répond pas forcément au premier e-mail.
• Beaucoup de gens ne lisent pas tous leurs e-mails.
• Certains contenu d’e-mails fonctionnent mieux que d’autres.

En résumé, plusieurs e-mails valent mieux qu’un pour s’assurer un retour plus fort.

Chouchoutez votre communauté

Récoltez 1,000 adresses e-mails en opt-in ne veut pas dire que vous avez 1,000 bêta testeurs sous la main.

Une fois que les volontaires ont appliqués, demandez à votre community manager (si vous en avez un) d’entretenir la relation entre vous et votre communauté de bêta testeurs.

Voici quelques basiques simples de communication :

• Prévoyez 1 à 2 communications mensuelles avec vos béta testeurs par e-mail
• Si votre boite est présent également sur les réseaux sociaux, organisez un groupe ou une liste privée pour publier des posts ou des stories
  • Attention ce genre de tâches est ultra chronophage
• Ne sur-publiez pas si vous n’avez rien à tester
• Ne sous-publiez pas non plus si vous n’avez rien à tester.
  • Partager la liste des fonctionnalités à venir
  • Partager le calendrier
  • Montrer des photos de votre équipe en plein travail
  • Montrer des captures d’écrans des fonctionnalités à venir
• Quand vous avez quelque chose à tester, publier des règles précises :
  • Description de la fonctionnalité
  • Information pour se connecter ou accéder à la solution
  • Temps de test
  • Fournissez toujours un mini questionnaire ou sondage attaché au tests
  • Ré-envoyez le questionnaire quelques jours après le test pour relancer les retardaires
• Une fois le test terminé
  • Écrivez un message de remerciement
  • Si vous le pouvez, offrez un bonus client (discount, prolongement d’un abonnement…)
  • Si vous le pouvez aussi, publier les résultats des sondages pour renforcer le lien de votre communauté.
• Très important :
  • Un programme bêta doit être un outil à votre disposition en permanence
    • N’arrêtez jamais de recruter de nouveaux beta testeurs car vous allez en perdre en cours de route

Soyez organisé

Aussi crucial qu’est un programme bêta, cela ne s’improvise pas.

Il y a peu de chances que vous puissiez tout gérer avec votre agenda de PO.

Pour cela, assurez vous d’embarquer le département Marketing avec vous pour qu’il vous appuie et vous donne des ressources et les bon outils: 

• Un community manager ou un chef de projet marketing
• Un bon CRM
• Accès aux réseaux sociaux de l’entreprise

Cela ne devrait pas être très dur de les convaincre.

Néanmoins, si l’initiative vient de vous, planifiez tout de même une petite réunion avec une présentation pour leur expliquer les bénéfices partagés entre vos 2 départements.

Nota bene

Si vous n’avez pas de base utilisateurs et que vous travaillez sur le lancement d’un nouveau produit, alors vous n’avez pas besoin de programme bêta.

A ce stade, vous avez besoin d’une stratégie de lancement !

Alors pourquoi un programme beta ?

Récoltez des demandes et des besoins clients est essentiel avant de se lancer dans le développement d’une solution

Malheureusement ce n’est pas parce que vous avez identifié un vrai besoin que vous allez trouver la bonne solution.

Entre la définition d’une solution et la mise sur le marché, nous passons notre temps seuls entre 4 murs à nous convaincre ensemble des bienfaits de ce que nous faisons.

• Réunions
• Design sprint et idéation
• Phase de spécification

Il est facile de s’auto-convaincre que ce que l’on prépare est la réponse ultime aux besoins exprimés par nos clients ou utilisateurs.

Avoir un programme bêta en place permet de vérifier nos hypothèses avant lancement et d’éviter de commettre des erreurs.

L’avantage d’un programme bêta est que vous pouvez récoltez des avis objectifs et intéressés.

Par ailleurs, avoir un pool d’utilisateur beta bien construit vous permet également de tester vos solutions le plus tôt possible.

• Pas la peine de peaufiner tous les détails.
• Testez le core de votre solution et rappelez leur que c’est encore en phase bêta.
• Comparé aux utilisateurs finaux, les bêta utilisateurs ne vous en tiendront pas (moins) rigueur.

Pour achever de vous convaincre de son utilité, je vous donne une micro liste de Beta programs mis en place par quelques uns des plus grands noms de la tech.

• Apple
• Android (Google)
• Huawei (je trouvais ça marrant de le mettre à côté de Google)
• Waze 
• Instagram

Si vous voulez rejoindre un programme bêta d’un produit que vous adorez, tapez juste “Beta program (nom de la société)” sur Google.

Si tous ces acteurs ont construit leur propre programme, ce n’est pas un hasard 😉