Faut-il un outil pour vérifier si ChatGPT parle de votre marque ?

Vous ouvrez ChatGPT, vous tapez « meilleur consultant SEO à Nice », votre marque n’apparaît pas. Vous recommencez le lendemain, elle est là. Aucune des deux réponses ne vous apprend quoi que ce soit, et c’est le problème central de la vérification manuelle.

Une étude publiée par SparkToro en janvier 2026 a fait tourner 12 prompts identiques près de 3 000 fois dans ChatGPT, Claude et l’IA de Google, via 600 volontaires. Les chances d’obtenir deux fois la même liste de marques ressortent à moins de 1 sur 100, et à environ 1 sur 1 000 pour la même liste dans le même ordre.

Un outil payant reste inutile pour beaucoup de monde. Je vais vous donner le seuil chiffré à partir duquel il se rentabilise, et les cas où le test manuel suffit largement.

Faut-il un outil pour vérifier si ChatGPT parle de votre marque ?

Non si vous suivez moins de 10 questions et que vous vérifiez une à deux fois par an. Oui si vous suivez 10 questions ou plus tous les mois, ou si vous devez rendre des comptes à un client ou à une direction.

Le calcul tient en une ligne. Un protocole manuel correct demande environ 3 minutes par question et par moteur, temps de relevé compris. Dix questions sur trois IA, c’est 1 h 30 par passage. En rythme mensuel, 18 heures par an. À 60 € de l’heure, 1 080 € de temps facturable contre 348 € HT pour un abonnement annuel d’entrée de gamme.

Le seuil ne dépend pas de votre taille mais de trois variables : le nombre de questions, la fréquence de vérification et la valeur de votre heure. Le calculateur plus bas les combine.

Le protocole manuel qui donne un résultat exploitable

Taper le nom de votre marque dans ChatGPT ne mesure rien. Vous testez alors la restitution, autrement dit la capacité du modèle à répéter ce qu’il a lu sur vous. Ce qui compte, c’est la découverte : votre marque sort-elle quand personne ne la nomme.

Le protocole minimal comporte cinq étapes.

• Listez 10 questions d’acheteur formulées comme vos prospects les posent, sans jamais mentionner votre marque. « Quel outil pour suivre sa visibilité IA » et non « que penses-tu de Cockpyt AI ».
• Ouvrez une session neuve pour chaque question, en navigation privée et sans compte connecté, pour écarter la personnalisation liée à votre historique.
• Relevez trois choses : votre marque apparaît ou non, à quel rang dans la liste des marques citées, et quelles marques concurrentes sortent à votre place.
• Répétez sur chaque IA que votre marché utilise réellement, au minimum ChatGPT, Gemini et Perplexity.
• Datez et archivez dans un tableur. Un relevé qui ne se compare à rien ne vaut rien.

Comptez 90 minutes pour 10 questions sur 3 moteurs. La partie chronophage n’est pas l’interrogation, c’est l’ouverture d’une session propre à chaque fois et la saisie structurée du relevé.

Trois raisons pour lesquelles votre test manuel n’est pas reproductible

Le test manuel n’est pas seulement imprécis. Il produit un résultat que vous ne pouvez pas comparer à celui du mois prochain, pour trois raisons distinctes.

Une passe unique tire une carte au hasard

C’est le point que l’étude SparkToro documente le mieux. Chaque prompt a été lancé 60 à 100 fois par plateforme, et presque chaque réponse était unique sur trois plans : la liste des marques, leur ordre, et le nombre d’éléments retournés. Une interrogation isolée vous donne un tirage, pas une mesure.

Ce comportement n’est pas un défaut. Les modèles sont probabilistes par construction, et la variation est le fonctionnement attendu.

Votre historique et votre compte faussent la réponse

Un compte connecté transporte votre historique de conversation, vos préférences enregistrées et votre contexte. Si vous avez déjà parlé de votre entreprise à ChatGPT, vous ne mesurez plus votre visibilité, vous mesurez sa mémoire de vos échanges. La navigation privée règle une partie du problème, pas la totalité.

Vos conditions de test changent sans que vous le sachiez

Entre deux vérifications espacées d’un mois, le modèle a pu être mis à jour, la fonction de recherche web a pu se déclencher dans un cas et pas dans l’autre, l’interface a pu changer de version. Vous croyez comparer deux mesures. Vous comparez deux protocoles différents.

Une étude publiée par l’Association for Computational Linguistics en décembre 2025 a testé cinq modèles configurés pour être déterministes sur huit tâches et dix exécutions. Elle relève des écarts de performance allant jusqu’à 15 % entre exécutions. Même en verrouillant les réglages, la stabilité n’existe pas.

Le seuil de bascule : à partir de quand un outil devient rentable

Le seuil se calcule, il ne se devine pas. Voici les ordres de grandeur pour un protocole manuel à 3 minutes par question et par moteur, sur 3 IA.

La ligne à retenir : à 10 questions vérifiées tous les mois, vous dépassez le coût d’un abonnement annuel d’entrée dès le troisième mois. Et ce calcul est généreux envers le manuel, puisqu’il compte une seule passe par question. Pour approcher une mesure fiable, il faudrait répéter chaque question plusieurs fois, ce qui multiplie le temps d’autant.

D’après moi, la plupart des gens sous-estiment ce chiffre parce qu’ils pensent au temps d’interrogation et oublient le temps de relevé. Poser la question prend 20 secondes. Ouvrir une session propre, lire la réponse en entier, identifier les concurrents cités et remplir une ligne de tableur en prend dix fois plus.

Quand le test manuel suffit largement

Trois situations où je vous déconseille de payer quoi que ce soit.

Vous démarrez et vous cherchez un point zéro. Cinq questions, une session propre, une heure de votre temps. Si votre marque n’apparaît nulle part, vous n’avez pas un problème de mesure, vous avez un problème de visibilité, et aucun tableau de bord ne le règlera. Travaillez le contenu et les citations externes d’abord.

Vous préparez une refonte ou un audit ponctuel. Un relevé manuel approfondi couplé au regard d’un consultant produit un meilleur diagnostic qu’un abonnement souscrit pour trois mois. Le suivi continu sert à détecter des décrochages dans la durée, pas à établir un diagnostic initial.

Vous suivez une seule marque sur un marché très étroit. Si trois concurrents se partagent votre catégorie et que les réponses sont stables d’un test à l’autre, une vérification trimestrielle suffit à repérer un changement.

Ce qu’un outil apporte que le manuel ne donnera jamais

Quatre choses, et une seule d’entre elles justifie vraiment la dépense.

Un historique daté. C’est l’argument décisif. Un relevé manuel isolé ne se compare à rien. Un historique de douze semaines montre si votre courbe monte, stagne ou décroche, et permet de relier un mouvement à une action que vous avez menée.

Le volume. Interroger 15 questions sur 3 IA chaque semaine représente 45 observations par passage, soit 2 340 par an. Aucune personne raisonnable ne fait ça à la main.

La part de voix. Savoir qui est cité à votre place, et à quelle fréquence. Le manuel vous le montre ponctuellement, l’outil le quantifie.

La détection de ce que vous ne cherchez pas. Une hallucination sur vos tarifs, une source tierce qui vous décrit mal, un concurrent qui apparaît soudainement. Vous ne le trouverez pas en testant les questions auxquelles vous pensez déjà.

Méfiez-vous des outils qui vendent une position

Rand Fishkin conclut son étude sans détour : un outil qui annonce une position de classement dans l’IA raconte n’importe quoi. Sur un passage unique, l’ordre des marques citées est quasiment aléatoire, avec environ 1 chance sur 1 000 de retrouver deux fois le même ordre.

Ce que la même étude valide, c’est la fréquence d’apparition mesurée sur un grand nombre de passages. Dans les catégories resserrées, les marques leaders ressortent avec un taux de présence nettement supérieur au reste.

D’après moi, cette distinction devrait être le premier filtre quand vous comparez des outils, y compris le mien. Une métrique de présence agrégée sur la durée se défend. Une position affichée pour une requête donnée est à lire avec beaucoup de prudence, quel que soit l’éditeur qui vous la vend. Petite réserve d’honnêteté sur cette étude : elle est co-signée par le dirigeant d’un outil de tracking IA, et sa conclusion sert aussi son positionnement produit. La méthodologie reste la plus solide publiée à ce jour sur le sujet.

Questions fréquentes

La navigation privée suffit-elle à obtenir un test neutre ?

Elle écarte votre historique de conversation et votre personnalisation, ce qui est nécessaire. Elle ne neutralise ni votre localisation, ni la version du modèle servie ce jour-là, ni le déclenchement de la recherche web. Le test devient plus propre, pas reproductible pour autant.

Quelle différence entre une mention et une citation ?

Une mention signifie que votre nom de marque apparaît dans le texte de la réponse. Une citation signifie qu’une de vos pages est affichée comme source, avec un lien. Vous pouvez être mentionné sans être cité, et cité sans être mentionné. Les deux ont une valeur différente : la mention influence la décision, la citation apporte du trafic.

Combien de fois faut-il répéter une question pour obtenir un résultat fiable ?

Aucun chiffre ne fait consensus, et l’étude SparkToro pose explicitement la question comme ouverte. Les travaux universitaires sur l’évaluation de modèles suggèrent que deux répétitions suppriment déjà la majeure partie des inversions dues au hasard, avec un rendement qui décroît vite ensuite. Retenez surtout qu’une seule passe ne suffit jamais.

Les outils gratuits permettent-ils de faire ce suivi ?

Partiellement. Google Search Console et Bing Webmaster Tools vous montrent le trafic arrivé depuis les IA, donc les gens qui ont cliqué. Ils ne montrent pas les réponses où vous êtes cité sans clic, qui représentent l’essentiel du sujet. Ce sont des compléments utiles, pas des substituts.

Faut-il tester sur mobile et sur ordinateur ?

L’écart d’affichage existe, surtout sur les formats enrichis et les carrousels. Pour un relevé manuel, choisissez un support et gardez-le. Changer de support entre deux relevés ajoute une variable dont vous n’avez pas besoin.

À quelle fréquence vérifier si le suivi se fait à la main ?

Une fois par trimestre pour la plupart des activités. Votre visibilité évolue au rythme des contenus que vous publiez et des citations que vous obtenez ailleurs, soit sur 3 à 8 semaines. Vérifier chaque semaine à la main vous fera réagir à des variations qui ne veulent rien dire.

Un outil garantit-il d’être cité par ChatGPT ?

Non, et aucun éditeur ne peut le promettre. Un outil mesure et priorise. Il ne décide pas de ce que le modèle répond. Méfiez-vous de toute promesse de citation garantie.

Sources

• Rand Fishkin et Patrick O’Donnell, New Research: AIs are Highly Inconsistent When Recommending Brands or Products, SparkToro, janvier 2026 — sparktoro.com
• Berk Atıl et al., Non-Determinism of « Deterministic » LLM System Settings in Hosted Environments, Proceedings of the 5th Workshop on Evaluation and Comparison of NLP Systems, Association for Computational Linguistics, décembre 2025 — aclanthology.org/2025.eval4nlp-1.12
• iAdvize et Ifop, étude sur l’IA dans le parcours d’achat, enquête menée fin janvier 2026 auprès de 1 051 Français représentatifs — reprise par Ecommerce Nation, mars 2026, ecommerce-nation.fr
• Miguel Angel Alvarado Gonzalez et al., Do Repetitions Matter? Strengthening Reliability in LLM Evaluations, arXiv:2509.24086, septembre 2025 — arxiv.org/abs/2509.24086