Depuis près de cinq ans, Netflix a de simples icônes de pouce vers le haut et vers le bas pour exprimer les préférences de visualisation et aider ses algorithmes à fournir de meilleures recommandations. Cependant, dans les sondages, les gens ont fréquemment exprimé que ce type de vote binaire ne rendait pas vraiment justice à leurs goûts.
Et s’ils étaient vraiment, vraiment amoureux d’un spectacle ?
Chargé de trouver une meilleure façon d’exprimer de tels niveaux d’adoration, le service de streaming a récemment exploré l’idée d’ajouter une icône de cœur à l’application Netflix. Le cœur semblait être un choix évident. C’est un signe d’amour universel et largement utilisé dans des applications comme Instagram et Twitter.
Mais Netflix ne serait pas Netflix si la société ne soumettait pas de telles fonctionnalités à des tests rigoureux ; dans ce cas, cela a pris près d’un an. Pendant ce temps, la société a découvert que les cœurs n’étaient en fait pas la fonctionnalité la plus performante après tout, et a plutôt opté pour une nouvelle option à deux pouces qui est mise à la disposition de ses abonnés du monde entier cette semaine.
Voici comment ce changement d’avis s’est produit.
Trouver un symbole universel pour l’amour
Netflix a déployé lundi sa nouvelle fonctionnalité à deux pouces sur ses applications mobiles et smart TV ainsi que sur son site Web. Les abonnés sont informés que ce type de commentaires affecte directement les recommandations futures. Un pouce vers le bas signifie qu’un titre ne sera plus suggéré ; un pouce levé fera que Netflix recommandera un contenu similaire. Deux pouces vers le haut signifient que “nous savons que vous êtes un vrai fan”, comme le dit l’application mobile Netflix.
La société a lancé ses travaux sur la fonctionnalité il y a environ un an et demi sur la base des commentaires qu’elle recevait dans les enquêtes et les entretiens de recherche de ses abonnés. “Nous entendions des membres dire que ‘j’aime’ et ‘je n’aime pas’ n’étaient pas suffisants”, a déclaré Christine Doig-Cardet, qui dirige l’équipe d’innovation des produits d’interface utilisateur personnalisée de l’entreprise. “Il y a eu des émissions qu’ils ont vraiment, vraiment, vraiment appréciées. Faire la différence entre ce qu’ils aiment et ce qu’ils aiment était important. »
Une fois la décision prise de résoudre ce problème, Netflix a lancé une série de sprints de conception pour proposer des visuels pour ce niveau de fandom. Certaines des premières idées comprenaient le cœur, une icône d’applaudissements, des étoiles filantes et autres. Les designers ont également consulté l’équipe de mondialisation de l’entreprise pour trouver une icône véritablement universelle. “L’équipe de conception et l’équipe de mondialisation vraiment [homed] sur les symboles qui évoquent l’amour », a déclaré Ratna Desai, directrice de la conception de produits chez Netflix. “Nous voulions que ce soit très précis, très concis, car nous voulions que ce soit une interaction très rapide.”
Dans le même temps, Netflix continuait d’interroger ses abonnés, qui avaient une autre suggestion. “Nous avons eu beaucoup d’entretiens et d’enquêtes, [and] le cœur ne résonnait pas vraiment », a déclaré Doig-Cardet. “L’idée qui est venue des membres était : pourquoi n’essayez-vous pas simplement de mettre deux pouces vers le haut ?”
À ce moment-là, deux favoris ont émergé. Le cœur semblait être un choix évident, mais deux pouces levés semblaient également bien fonctionner avec l’iconographie existante de Netflix. De plus, comme le savent tous ceux qui ont déjà lu une critique de feu Roger Ebert, cela a longtemps signifié un vote de confiance pour un excellent divertissement.
Aller avec ce que ses abonnés voulaient semblait être une bonne idée, donnant du crédit aux deux pouces vers le haut. Et si ces abonnés avaient tort ?
“Certaines personnes peuvent parler fort”, a déclaré Doig-Cardet. “Mais quand vous regardez l’image dans son ensemble, parlez à beaucoup de membres différents et voyez comment ils interagissent avec les différentes fonctionnalités, cela ne fait pas toujours [match] les premières voix fortes. ”
Prouver que les voix les plus fortes ont tort
Netflix a longtemps essayé de comprendre comment collecter au mieux les classements de contenu basés sur les membres, et faire face à ces voix fortes a été difficile. À ses débuts, Netflix proposait un système de notation cinq étoiles, similaire à la façon dont les gens évaluent leurs chauffeurs Uber.
À l’époque, Netflix affichait une moyenne de ces notes sur son site Web pour indiquer à quel point un titre était apprécié des abonnés. Cela a abouti à ce que certains titres aient 4,5 étoiles, ou d’autres fractions, ce qui a amené les gens à se demander pourquoi ils ne pouvaient pas également évaluer par incréments d’une demi-étoile.
Des milliers de personnes ont déclaré à l’entreprise lors d’enquêtes qu’elles souhaitaient ce niveau de granularité, mais les employés de Netflix n’étaient pas sûrs que ces opinions reflétaient la manière dont les gens utilisaient réellement le service. Pour s’assurer qu’il ne tombait pas dans les opinions d’une minorité vocale, Netflix a eu recours à quelque chose qui est devenu un élément clé de son coffre à outils de développement de produits au fil des ans : un test A/B.
Dans le cas du test demi-étoile, les résultats étaient évidents : les notes ont chuté de manière significative lorsqu’on a demandé aux gens de fournir des commentaires avec ce niveau de granularité. En d’autres termes : les tests A/B ont prouvé que les voix les plus fortes étaient fausses.
Netflix a répété ce type de test lorsqu’il a complètement remplacé les notes cinq étoiles par des pouces en 2017. Dans les tests A / B avant ce changement, la société a vu l’activité des notes augmenter de 200% avec les icônes pouce vers le haut et pouce vers le bas. Une partie du problème était que ces icônes étaient simplement plus simples, mais un examen plus approfondi des données a également révélé qu’elles avaient tendance à être plus précises : les gens attribueraient cinq étoiles aux titres qu’ils jugeaient dignes de ce statut, y compris les documentaires primés qui s’attarderaient alors sans surveillance dans leurs files d’attente pendant des mois. Dans le même temps, ils se gaveraient fréquemment d’émissions de télé-réalité qu’ils n’avaient eux-mêmes classées que trois étoiles.
Le moment de vérité : Cœur ou pouce ?
Maintenant, Netflix est prêt à ajouter à nouveau un peu plus de complexité à ces classements. C’est en partie parce que les habitudes de consommation des médias et les interfaces des applications ont changé à tous les niveaux. “Les gens utilisent Netflix dans le contexte de leur vie globale”, a déclaré Desai. “Ils interagissent avec Instagram, avec divers réseaux sociaux, avec des applications de covoiturage.” Certains des modèles d’interaction de ces applications et expériences n’étaient pas facilement applicables à Netflix, qui est principalement utilisé sur les téléviseurs et se concentre beaucoup plus sur le divertissement leanback que, par exemple, Instagram. “Mais il y a quelques leviers que nos membres demandent maintenant et qu’ils n’avaient pas dans le passé”, a-t-elle déclaré.
Pourtant, il restait des questions non résolues, notamment qu’est-ce qui fonctionnerait le mieux : les cœurs ou les pouces ? Et l’un ou l’autre aurait-il en fait un impact durable au-delà de la prise en compte de ces voix fortes dans les enquêtes et autres formes de recherche qualitative ?
“Nous avons été dans des situations où nous pouvons entendre des points de vue très forts dans un cadre qualitatif qui vont à l’encontre de ce que nous découvrons dans les tests A / B”, a déclaré Desai. “C’est là que le plaisir commence.”
Netflix a commencé l’été dernier une série de tests A / B pour la nouvelle fonctionnalité de classement.Image : Netflix.
Netflix a commencé l’été dernier une série de tests A / B pour la nouvelle fonctionnalité de notation, testant à la fois le cœur et l’option à deux pouces. Dans le même temps, la société a continué à interroger les abonnés, y compris ceux inscrits aux tests, pour voir si les nouvelles fonctionnalités apportaient réellement de la valeur.
Les tests de la fonctionnalité se sont prolongés jusqu’à l’automne, car les équipes qui y travaillaient voulaient s’assurer qu’elles avaient bien fait les choses. “Nous ne précipitons pas un test”, a déclaré Doig-Cardet. «Parfois, il y a cette impulsion pour lancer tôt et casser des choses et tout ça. Ce n’est pas [our] approcher. ” L’une des raisons de mener des tests A / B sur des semaines, voire des mois, est de laisser les gens s’habituer à une fonctionnalité et de voir si l’engagement reste élevé, ou si les gens sont attirés par la nouveauté d’une fonctionnalité, puis s’en lassent.
En fin de compte, les chiffres étaient clairs : fournir des commentaires supplémentaires a fonctionné. “Nous avons vu une très grande augmentation de l’engagement parce que les gens avaient une nouvelle façon de nous parler”, a déclaré Desai. Cet ascenseur était beaucoup plus grand avec les deux pouces levés qu’avec le cœur, ce qui était une surprise, car les gens de Netflix s’attendaient à ce que le cœur gagne.
Ces types de résultats inattendus sont ce qui rend les tests A / B si précieux, a déclaré Doig-Cardet. “Si nous n’étions pas surpris, nous ferions quelque chose de mal”, a-t-elle déclaré. “Nous validerions nos propres hypothèses, plutôt que de laisser directement les chiffres sur ce qui est une meilleure expérience.”
Des tests constants, même si cela peut gâcher la grande révélation
L’utilisation intensive par Netflix des tests A / B a été bien documentée au fil des ans, y compris par sa propre équipe de science des données. La société teste constamment un certain nombre de fonctionnalités différentes avec des sous-ensembles de son public. Fondamentalement, si vous êtes abonné à Netflix, il y a de bonnes chances que vous soyez inscrit à une sorte de test en ce moment.
Certains de ces tests concernent des ajustements d’interface évidents, et certains sont liés à des changements de codec ou d’infrastructure sous le capot. En fait, Netflix fait tellement de tests que les membres peuvent être inscrits à plus d’un test en même temps, c’est pourquoi la société a développé une plate-forme d’expérimentation complète qui aide son équipe de science des données à éviter les conflits de test et à donner un sens à toutes les données collectées. . (Netflix offre aux membres la possibilité de se retirer des tests via les paramètres de leur compte.)
Cependant, le développement de la nouvelle fonctionnalité de deux pouces vers le haut montre également que les tests A / B seuls ne suffisent pas. Sans également parler directement aux abonnés, l’entreprise aurait donné la priorité au développement de l’icône du cœur et n’aurait pas donné à deux pouces levés une chance de faire ses preuves dans les tests A / B. “Nous adoptons cette approche à plusieurs volets consistant à examiner de nombreux intrants différents”, a déclaré Doig-Cardet. Nous recueillons des informations de notre service client, des enquêtes, des entretiens que nous menons, et utilisons tout cela pour informer [what] nous devrions investir et tester. »
Les sondages et les tests A / B comportent tous deux le risque d’exposer les futures fonctionnalités aux yeux du public. Les abonnés publient fréquemment de nouvelles choses qu’ils ont repérées dans l’application, et les journalistes ont tendance à sauter sur ces histoires pour mettre en lumière la feuille de route de l’entreprise. Pour Netflix, c’est juste un coût de faire des affaires. “Nous sommes à l’aise de faire ce compromis de fournir une visibilité précoce parce que nous voulons nous assurer que cela fonctionne pour nos membres”, a déclaré Doig-Cardet.
“Dans les endroits précédents où j’ai travaillé, il y a cet incroyable dévoilement de la fonctionnalité, avec la campagne et tout ça”, a ajouté Desai. Au lieu de cela, Netflix fonctionne un peu plus à l’air libre, ce qui inclut le test de nouvelles fonctionnalités non annoncées avec des dizaines de milliers de membres.
“C’est notre pain et notre beurre”, a déclaré Desai. “C’est notre sauce secrète à la façon dont nous innovons.”
.