Limites des données de conversation : ce qu'on ne sait pas

Nos données ne montrent pas de causes. Elles montrent des écarts entre des groupes de conversations réelles, ce qui n’est pas la même chose et n’autorise pas les mêmes conclusions.

Cette page dit ce que notre corpus ne peut pas établir. Elle n’est pas une précaution juridique : c’est la seule raison pour laquelle le reste mérite d’être lu.

Que contient et que ne contient pas le corpus ?

Sur 42 852 conversations, près de 1,5 million de messages et 38 879 ventes, échangés dans des messageries privées entre des créatrices et leurs fans. Chaque résultat publié est une comparaison entre deux groupes de ces conversations, pas une expérience.

Ce que le corpus contient et ce qu’il ne contient pas :

• Il contient le texte des messages, leur ordre, leur horodatage, et le fait qu’une vente ait suivi ou non.
• Il ne contient pas les fans qui n’ont jamais écrit, ni les conversations que personne n’a ouvertes : le manque à gagner du silence n’y apparaît nulle part.
• Il ne contient pas ce qui s’est passé ailleurs : un achat décidé après une publication, une vente conclue sur une autre plateforme, un remboursement ultérieur.
• Il ne contient pas les intentions. On lit ce qu’un fan a tapé, jamais ce qu’il a pensé en le tapant.

Pourquoi un écart mesuré n’est-il pas une cause ?

Parce que les conversations n’ont pas été tirées au sort : personne n’a décidé au hasard qu’une moitié proposerait tôt et l’autre tard. Ce qui distingue les deux groupes peut être le geste mesuré, ou tout ce qui accompagne habituellement ce geste.

Prends notre résultat le mieux établi : une vente proposée avant le sixième message fait chuter la conversion d’environ un tiers, l’optimum se situant après une dizaine d’échanges. Trois lectures restent possibles, et le corpus ne tranche pas entre elles :

1. La proposition précoce nuit. Le fan n’a pas eu le temps de s’engager.
2. Les conversations courtes sont d’un autre type. Un fan qui écrit peu de messages aurait de toute façon moins acheté, quel que soit le moment de la proposition.
3. Les deux à la fois, dans des proportions que nous ne savons pas séparer.

L’écart est réel dans les trois cas, et il reste utile dans les trois cas. Mais le mécanisme change, et avec lui ce qu’il faut enseigner à une équipe. Nous publions donc l’écart et présentons l’explication pour ce qu’elle est : une hypothèse cohérente.

Ce qui vaut pour le corpus vaut-il pour ta créatrice ?

Rien ne le garantit. Une moyenne décrit une population ; elle ne prédit pas un cas particulier, et un effet net d’ensemble peut être nul ou inversé sur un compte donné.

La question posée	Ce que le corpus établit	Ce qu’il faut faire à la place
« Vendre tôt fait-il chuter la conversion ? »	un écart net sur la population observée	s’en servir comme hypothèse prioritaire
« Cela vaut-il pour ma créatrice ? »	rien	rejouer la mesure sur tes conversations
« De combien vais-je progresser ? »	rien	mesurer avant, mesurer après, sur ton volume
« Pourquoi cet effet existe-t-il ? »	rien	tenir l’explication pour une hypothèse
« Cela vaudra-t-il encore l’an prochain ? »	rien	rejouer la mesure plus tard

Quatre lignes sur cinq répondent « rien ». Ce n’est pas un aveu de faiblesse, c’est la forme normale d’une analyse de corpus : elle est très forte sur une question, muette sur les autres, et le danger commence quand on lui fait dire les autres.

Pourquoi lit-on quand même ces chiffres comme des lois ?

Parce qu’un chiffre précis a l’air plus vrai qu’une phrase prudente, et parce qu’un écart mesuré arrive dans un secteur où presque tout se transmet par opinion. Le contraste fait le reste.

Trois mécanismes reviennent :

• La transformation en règle. « Environ un tiers de conversion en moins avant le sixième message » devient en trois répétitions « il ne faut jamais vendre avant le sixième message », énoncé sans son volume ni sa population.
• Le chiffre orphelin. Le résultat circule sans sa source, sans sa taille de corpus et sans ses limites. Il devient invérifiable, donc indiscutable.
• La dérivation. À partir d’un écart mesuré, on calcule un gain attendu, puis un chiffre d’affaires supplémentaire. Aucune de ces étapes n’a été mesurée, et le résultat final est présenté avec la même assurance que le premier.

Le meilleur exemple de ce qu’une intuition rate est notre résultat le plus contre-intuitif, traité dans personnaliser un message de vente : une intuition dont chaque étape est défendable y aboutit à la mauvaise conclusion, et seul un comptage le repère.

Qu’est-ce qu’on en fait, concrètement ?

On s’en sert pour choisir quoi tester en premier, pas pour clore un débat. Un écart mesuré sur des dizaines de milliers de conversations est une bien meilleure hypothèse de départ qu’une opinion, et rien de plus qu’une hypothèse de départ.

Quatre gestes :

• Range chaque résultat dans ta liste d’hypothèses, pas dans tes consignes. Une consigne se discute une fois puis s’applique ; une hypothèse se vérifie.
• Reprends toujours la population avec le chiffre. « Sur nos données, dans des messageries privées » fait partie du résultat, au même titre que l’écart.
• N’en dérive aucun autre chiffre. Ni gain attendu, ni projection, ni coefficient.
• Note ce que tu ne sais pas à côté de ce que tu sais. Une équipe qui voit la colonne des incertitudes cesse d’appliquer les règles mécaniquement.

Comment vérifier un résultat sur tes propres conversations ?

En le rejouant chez toi, avec une répartition au hasard que le corpus, lui, n’avait pas. C’est la seule opération qui transforme une observation en réponse valable pour ton agence.

1. Reprends le résultat qui te concerne le plus : pour la plupart des agences, quand proposer une vente à un fan.
2. Monte un test propre : une variable, une répartition au hasard, un volume et une date d’arrêt écrits avant, comme décrit dans mesurer ce qui marche en conversation.
3. Compare à l’intérieur d’un même groupe de fans : les anciens et les nouveaux ne réagissent pas pareil, d’où l’intérêt d’une lecture par cohorte même sommaire.
4. Écris le dénominateur à côté du résultat, sans quoi ton taux de conversion ne se compare à rien, pas même à lui-même le mois suivant.
5. Note le verdict, y compris quand il contredit le nôtre. Un résultat qui ne se reproduit pas chez toi n’invalide pas la mesure : il t’apprend que ta population diffère, ce qui est une information exploitable immédiatement.

Une analyse de conversations vaut ce que valent ses limites énoncées. Les nôtres tiennent en une phrase : nous savons ce qui a coïncidé avec les ventes dans un très grand nombre de conversations réelles, et nous ne savons pas pourquoi.